终极解决Hugging Face 模型推理 HTTPSConnectionPool(host=‘huggingface.co‘, port=443): Max retries...

文章介绍了如何在大陆地区因网络问题无法顺利访问HuggingFace时,通过将模型文件复制到本地并直接引用,实现离线模型推理。具体方法是找到模型的本地存储路径,然后在pipeline语句中直接指定模型的软链接地址,同时需要指定模型的任务类型。这样可以避免频繁访问HuggingFace网站,提高模型使用的效率和稳定性。
摘要由CSDN通过智能技术生成

大陆地区由于网络的问题,在使用Hugging Face进行模型下载或推理时总会遇到类似这样的问题.原因在于需要比较频繁的访问Hugging Face网页.模型下载时有时确实没有办法,但模型推理时,有时候为了验证模型的正确性,依然需要大量访问Hhugging Face,这实际是没有必要的.经过大量尝试,发现把模型文件拷贝至缓存以外的区域,就不会再出现标题所示的问题,甚至关闭网络都可以正常推理.这儿给出一个例子:

hf_generator = pipeline(model="declare-lab/flan-alpaca-large", device=0)

这儿加载模型declare-lab/flan-alpaca-large,如果事先没有下载该模型,直接运行该语句,那么会自动下载该模型到以下目录(以ubuntu为例):

/home/lhs/.cache/huggingface/hub/models--declare-lab--flan-alpaca-large

可以考虑直接把models–declare-lab–flan-alpaca-large拷贝至另外文件夹,该模型文件夹目录为:

-models--declare-lab--flan-alpaca-large
├── blobs
├── refs
└── snapshots
    └── 5c9e43db774036eb8878cf19550f3f19c98c608b

注意,5c9e43db774036eb8878cf19550f3f19c98c608b文件夹中便是模型文件的软链接文件,直接把这个目录名地址放入pipeline语句中即可本地调用文件,并不需要访问Hugging Face网页,语句如下:

hf_generator = pipeline("text2text-generation", model="./models/models--declare-lab--flan-alpaca-large/snapshots/5c9e43db774036eb8878cf19550f3f19c98c608b", device=0)

这儿相比之前的语句还需写明模型的task类型为"text2text-generation",模型的task类型包括以下几种,可以去模型的主页查看其类型并填入相应的类型:

            - `"audio-classification"`
            - `"automatic-speech-recognition"`
            - `"conversational"`
            - `"depth-estimation"`
            - `"document-question-answering"`
            - `"feature-extraction"`
            - `"fill-mask"`
            - `"image-classification"`
            - `"image-segmentation"`
            - `"image-to-text"`
            - `"object-detection"`
            - `"question-answering"`
            - `"summarization"`
            - `"table-question-answering"`
            - `"text2text-generation"`
            - `"text-classification"` (alias `"sentiment-analysis"` available)
            - `"text-generation"`
            - `"token-classification"` (alias `"ner"` available)
            - `"translation"`
            - `"translation_xx_to_yy"`
            - `"video-classification"`
            - `"visual-question-answering"`
            - `"zero-shot-classification"`
            - `"zero-shot-image-classification"`
            - `"zero-shot-object-detection"`

参考链接:

https://github.com/huggingface/transformers/blob/main/src/transformers/pipelines/init.py

使用上述方法可以有效解决网络访问报错的问题.

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值