在下载huggingface 模型的时候,经常会出现这个错误,HTTPSConnectionPool(host=‘huggingface.co’, port=443),即使你已经有了正确的上网姿势。
如在下载Tokenizer的时候,
tokenizer = AutoTokenizer.from_pretrained("csebuetnlp/mT5_multilingual_XLSum")
就会出现以上的错误HTTPSConnectionPool(host=‘huggingface.co‘, port=443)。
解决的办法可以有两种。
1.直接下载模型
第一种方式,你可以直接的huggingface 上,指定模型的Files and versions 进行下载,全部下载完成以后,设置本地模型的路径,就是下载以后放在本地的文件夹地址。
tokenizer = AutoTokenizer.from_pretrained("模型的本地路径")
这样模型加载的时候,就不会从网上进行下载,而是直接用本地的模型。
2.降级requests和urllib3
如果不想手动下载那么多的文件,可以把 requests 降到2.27.1,urllib3 降到1.25.11,当然能下载的前提是你已经有了正确的上网姿势。
pip install requests==2.27.1
pip install urllib3==1.25.11
就可以看到,模型自己在下载了
Downloading (…)okenizer_config.json: 100%|██████████| 375/375 [00:00<?, ?B/s]
Downloading (…)lve/main/config.json: 100%|██████████| 730/730 [00:00<?, ?B/s]
Downloading spiece.model: 100%|██████████| 4.31M/4.31M [00:03<00:00, 1.08MB/s]
Downloading (…)cial_tokens_map.json: 100%|██████████| 65.0/65.0 [00:00<00:00, 65.1kB/s]