【报错】HuggingFace Transformers connection issue

已于 2022-11-28 15:23:00 修改
阅读量6.2k 收藏 5
点赞数 5
分类专栏： 各类报错 文章标签： 深度学习 pytorch
于 2022-11-28 15:22:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43301333/article/details/128080461
版权
本文讨论了在运行Huggingface代码时遇到的ConnectionError，该错误可能是由于多种原因引起的，如缓存问题、网络连接、HTTP代理等。作者尝试了多种解决方法，包括删除缓存文件、指定下载参数、检查网络和重启机器，最终问题得到解决。建议遇到类似问题的读者尝试文中提到的所有方法，有时候简单地重启或等待一段时间也可能有效。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

有时候跑hugging face的代码，莫名其妙地会报下面这个错误：

ValueError: Connection error, and we cannot find the requested files in the cached path. Please try again or make sure your Internet connection is on

有人说，删除cache文件就行；有人说from_pretrain的时候指定local_file或者force_download等参数；也有人说是http proxy的问题；还有人说重启机器就能解决…

笔者曾不止一次遇到过该问题，每次遇到这个问题，都是试了上述各种方法，一开始不奏效，最后莫名其妙地就解决了(我什么也没做)…

笔者得出结论：主要是因为报错信息太抽象了，导致这个connection error的原因有很多，上述提到的每一种都有可能，建议每一种都去尝试一下…有时候不妨出去撒泡尿，回来可能就恢复正常了也不一定。。

参考：

  • https://github.com/huggingface/transformers/issues/8690
  • https://github.com/huggingface/transformers/issues/10067
huggingface 下载 连不上的解决方案
jacke121的专栏
06-22 3075
huggingface连不上的解决方案
【第5节】LMDeploy 大模型量化部署实践
熊猫小妖的AI世界
04-24 1815
视频文档作业lmdeploy官方文档OpenXLab个人感觉camp2讲解的没有第一次的内容好，都是照着文档跑一遍，基础内容也没有啥深度(也可能是我水平太低哈，哈哈)。补充观看之前1.0版本的讲解吧文档视频基础作业（结营必做）配置 LMDeploy 运行环境以命令行方式与 InternLM2-Chat-1.8B 模型对话进阶作业设置KV Cache最大占用比例为0.4，开启W4A16量化，以命令行方式与模型对话。（优秀学员必做）
[问题解决]加载huggingface模型出现“Connection error, and we cannot find the requested files in the cached path”
寸先生的AI道路
07-19 3万+
确认了不是网络的问题，之前用过该模型，本地缓存应该有模型和配置文件，在~/.cache/huggingface/transformers下。具体我现在还没有细细去想，按理不应该，至少问题解决了，能顺利完成编码输出，原因以后再细看。2.强制下载，增加force_download=True（没用）坑是：加载模型那里不要"./"，而加载词表那里要有"./"。1.增加local_only参数（没用）3.于是自行尝试去官网下载模型和配置文件。
ValueError: Connection error, and we cannot find the requested files in the cached path. Please try.
最新发布
weixin_56969073的博客
03-12 145
报错说是网络连接错误，但是使用了镜像网站和配置代理仍然无法解决，最后发现通过一个简单的命令成功加载了huggingface上的模型：
国内HuggingFace连接不上
m0_51178834的博客
11-29 1208
huggingface-cli download --repo-type dataset --token 你的token --resume-download 数据集名称 --cache-dir /本地路径 --local-dir-use-symlinks False。3、如果依旧连接超时，去刷新HF的access token，注意权限要设置为write。# 这种方式，数据集会保存到"/本地路径"中。
python 访问网络失败 huggingface ConnectionError
duoyasong5907的博客
12-26 1万+
python
huggingface连不上的解决方案
04-11 4063
AI, huggingface, library in offline mode
huggingface连接不上的解决方案
高性价比服务器就选：蓝易云
04-13 4355
以上就是关于如何解决使用Hugging Face时遇到的连接不上的一些常见方法。请注意这只是一个基本指南，并不能保证适用于所有情形。在进行任何操作之前，请确保你理解每个步骤可能带来的影响，并在必要时寻求专业人士指导。如果你在使用Hugging Face时遇到连接问题，这可能是由于多种原因造成的。
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[1]-最新版快速实践并部署（检索增强生成RAG大模型）
丨汀、的博客
06-13 3720
基于LangChain-Chatchat实现的RAG-本地知识库的问答应用[1]-最新版快速实践并部署（检索增强生成RAG大模型）
大模型chatglm3-6b云服务器部署踩坑记录
weixin_42467340的博客
08-27 1948
在公司的云服务器上部署chatglm3-6b，踩了太多坑，记录一下。主要参考的是 【大模型-第一篇】在阿里云上部署ChatGLM3_使用阿里云服务器部署大模型-CSDN博客。
LightRAG 简单使用教程
the_3rd_bomb的博客
11-27 4598
我只展示了和gpt不同的地方，主要是换了LLM和embedding的调用方式，但我在个人电脑上使用ollama很慢，主要在LLM调用方面，半小时完成了不到20个chunk的图谱提取，embedding速度还行。我自己主要用的deepseek的api，但也试过本地部署的xinference，虽然模型自己调用没问题，但lightrag调用时会出现500gateway错误，试了qwen和chatglm都一样，但同时部署的embedding模型没出现问题。4.问答，它提供了多种维度的问答方式，含义就不说了。
huggingface连接不上的解决方案(持续更新)
热门推荐
herosunly的博客
09-20 11万+
本文主要介绍了huggingface连接不上的解决方案，希望能对学习大模型的同学们有所帮助。 文章目录 1. 背景 2. 解决方案 2.1 解决方案一 2.1.1 第一步 2.1.2 第二步 2.1.3 第三步 2.1.4 可选步骤 2.2 解决方案二
【huggingface无法连接】We couldn‘t connect to ‘https://huggingface.co‘
baidu_27917239的博客
11-10 2468
这是因为在国内大部分区域不能访问 huggingface.co 网站，解决办法如下。
Hugging Face 无法连接问题 OSError: We couldn‘t connect to ‘https://huggingface.co‘ to load this file 解决方案
m0_46295727的博客
09-23 5万+
Hugging Face 无法连接问题 OSError: We couldn't connect to 'https://huggingface.co' to load this file 解决方案 亲测有效
无法连接huggingface.co问题解决方案
weixin_74009895的博客
12-23 2041
下载的时候不能翻墙，否则无法下载。
连接不上hugging face的解决方法
L
10-20 737
【代码】连接不上hugging face的解决方法。
[1307]huggingface外网连不上解决办法
周小董
09-21 1025
参考：https://www.jianshu.com/p/645620c37c12。如果环境中有HF_ENDPOINT的设定就会采用该设定作为前缀，即上面镜像的。由于某些原因huggingface无法连接，还好有国内镜像，目前是可用的。2、修改环境配置（亲测加了https才能连上）仅需在代码最上面加这两句就解决了！
01-我的StableDiffusion启动（无法连接huggingface，自己下载模型和参数文件）
qq_42160304的博客
10-03 5089
我的StableDiffusion的启动（自己下载模型和参数文件）
HuggingFace下载模型网络连接失败问题解决方法
weixin_45734343的博客
01-07 7875
最近有很多的小伙伴们在现在大模型文件或者大模型单个文件时总是出现网络问题，此问题也耽误小编很久，找到了各种的方法，终于搞明白了如何快速去解决HuggingFace源的问题。然后新建 python 文件，填入以下代码，运行即可。使用 Hugging Face 官方提供的。下载模型中的部分文件。
HuggingFace Transformers
02-08
### HuggingFace Transformers 使用指南 #### 加载预训练模型和分词器 为了使用 HuggingFace 的 `Transformers` 库，通常会先加载一个预训练的模型及其对应的分词器。这可以通过简单的几行代码完成： ```python from transformers import BertTokenizer, BertForMaskedLM tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertForMaskedLM.from_pretrained('bert-base-uncased') ``` 这段代码展示了如何利用 BERT 模型进行初始化[^1]。 #### 数据准备与处理 当涉及到具体任务的数据时，比如文本分类或命名实体识别，数据需要被适当地编码成模型可以理解的形式。对于大多数 NLP 任务而言，这意味着将原始字符串转换为 token ID 列表，并可能添加特殊的标记来指示句子边界或其他结构化信息。 ```python inputs = tokenizer("Hello, my dog is cute", return_tensors="pt") labels = tokenizer("Hello, my cat is cute", return_tensors="pt")["input_ids"] ``` 这里展示了一个例子，在这个例子中输入了一句话并将其转化为张量形式以便于后续操作[^3]。 #### 微调现有模型 如果想要针对特定领域或者更具体的下游任务改进性能，则可以选择基于现有的大型语言模型基础上做进一步的学习——即所谓的“微调”。此过程涉及调整部分参数而不是重新开始整个训练流程。 ```python outputs = model(**inputs, labels=labels) loss = outputs.loss logits = outputs.logits ``` 上述片段说明了通过提供标签来进行监督学习的方式之一；损失函数计算结果可用于反向传播更新权重值。 #### 部署推理服务 一旦有了满意的模型版本之后就可以考虑部署到生产环境中去了。Hugging Face 提供了一些工具可以帮助快速建立 RESTful API 或者 WebSocket 连接使得外部应用程序能够方便地访问这些强大的自然语言处理能力。 ```python from fastapi import FastAPI import torch app = FastAPI() @app.post("/predict/") async def predict(text: str): inputs = tokenizer(text, return_tensors='pt', truncation=True, padding=True) with torch.no_grad(): logits = model(**inputs).logits predicted_class_id = logits.argmax().item() return {"prediction": model.config.id2label[predicted_class_id]} ``` 该FastAPI脚本创建了一个简易web接口用于接收待预测文本并通过已训练好的transformer模型返回类别预测结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值