[Debug] OSError: Can‘t load tokenizer for ‘xxx‘....

报错详情：

OSError: Can't load tokenizer for 'allenai/scibert_scivocab_uncased'. If you were trying to load it from 'https://huggingface.co/models', make sure you don't have a local directory with the same name. Otherwise, make sure 'allenai/scibert_scivocab_uncased' is the correct path to a directory containing all relevant files for a BertTokenizer tokenizer.

翻译过来的意思是：

 无法加载'allenai/scibert_scivocab_uncased'的标记化器。如果你试图从'https://huggingface.co/models' 加载，请确保没有同名的本地目录。否则，请确保“allenai/scibert_scivocab_uncased”是包含BertTokenizer令牌化器所有相关文件的目录的正确路径。

也就是说，代码里有用到这个模型，但是没法从https://huggingface.co/models网站上加载。要么就在本地有个名叫allenai/scibert_scivocab_uncased文件夹，下面存放所需的所有文件。

报错原因分析：

1. 本地目录与 ‘allenai/scibert_scivocab_uncased’ 同名：如果你的本地目录中有一个名为 ‘allenai/scibert_scivocab_uncased’ 的文件夹，且文件夹下面没有相应的文件，可能会导致加载错误。请检查你的工作目录或者其他相关目录中是否有同名文件夹，并确保没有命名冲突。

2. 模型路径错误：确保 'allenai/scibert_scivocab_uncased' 是正确的模型路径，可以尝试重新确认模型路径是否正确。

3. 自动下载没找到，需要手动下载，放进去。可能是防火墙、urlib、ssl、服务器等问（这个网站一般需要爬墙访问，但是国内的一些云服务器又不能在爬墙的情况下运行）

解决方法：

以上面的 'allenai/scibert_scivocab_uncased' 为例，到https://huggingface.co/models网站上搜索该模型：

 点进去：

下载所有需要的文件，放到本地文件夹‘allenai/scibert_scivocab_uncased/’ 下。即可解决。

参考：【debug】OSError: Can‘t load tokenizer for ‘XXX‘. If you were trying to load it from ‘https://huggingf_oserror: can't load tokenizer for 'gpt2'. if you w-CSDN博客