AutoModelForCausalLM.from_pretrained报错——requests.exceptions.ConnectionError(104)

最新推荐文章于 2024-07-17 16:24:09 发布
最新推荐文章于 2024-07-17 16:24:09 发布
阅读量1.2k 收藏 3
点赞数
文章标签： python AIGC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44412496/article/details/131644359
版权
文章描述了一个遇到的Python连接错误，具体是ConnectionError伴随着ProtocolError和ConnectionResetError。解决方案是检查并确认protobuf的版本，文中列出了一个成功运行的环境配置，包括各种库的特定版本，如deepspeed、huggingface-hub、numpy等。
摘要由CSDN通过智能技术生成

requests.exceptions.ConnectionError: (ProtocolError(‘Connection aborted.’, ConnectionResetError(104, ‘Connection reset by peer’)), ‘(Request ID: 8ac8f7f5-c8b3-4e8f-b96d-148d80b5c920)’)

在这里插入图片描述

解决办法：
检查protobuf的版本

测试成功的版本如下：

python 3.9.17
cuda 11.6

deepspeed==0.9.5
huggingface-hub==0.16.3
numpy==1.25.1
pandas==1.2.5
peft==0.3.0
Pillow==10.0.0
protobuf==3.20.1
psutil==5.9.5
requests==2.31.0
safetensors==0.3.1
scipy==1.11.1
sentencepiece==0.1.99
six==1.16.0
tensorboard==2.13.0
tensorboard-data-server==0.7.1
tokenizers==0.13.3
torch==1.13.0+cu116
torchaudio==0.13.0+cu116
torchvision==0.14.0+cu116
tqdm==4.62.3
transformers==4.30.2
urllib3==1.26.16
Y_飞鱼
关注
langchain加载模型时出现ConnectionError: (ProtocolError(‘Connection aborted.‘的解决方案
weixin_43178406的博客
02-29 2万+
本文主要介绍了langchain加载模型时出现ConnectionError: (ProtocolError('Connection aborted.'的解决方案，希望能对使用langchain的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
【Transformer-Hugging Face 05/10】 使用 AutoClass 加载预训练实例
gongdiwudu的专栏
02-06 2255
作为 Transformers 核心理念的一部分，使库易于、简单且灵活地使用，它会AutoClass从给定的检查点自动推断并加载正确的架构。
AutoModelForCausalLM.from_pretrained 函数调用本地权重报错
G果的博客
05-10 2602
在终端直接运行finetune_lora.sh文件，–model_name_or_path该参数是指定加载的模型权重，可以是huggingface上的model_name，也可以使本地保存模型权重的路径。两种权重其实都可以使用，大小都一致，要想只使用.bin权重文件，需要删除.safetensor文件和对应的.safetensor.index.json文件才可以。若只想使用.bin权重文件，但是.bin.index.json文件有残留，运行就会报错找不到.safetensor权重文件。
Transformers模型实例化方法：AutoModel、AutoModelForCausalLM
酒酿小圆子呀～
07-17 1814
Transformers包括管道pipeline、自动模型auto以及具体模型三种模型实例化方法，如果同时有配套的分词工具（Tokenizer），需要使用同名调度。在上述三种应用方式中：管道方式使用最简单，但灵活度最差；具体模型方式使用复杂，但是灵活度最高。通常我们在实际应用中，比较推荐使用自动模型(AutoModel)方式。
（已解决）requests.exceptions.ConnectionError: (ProtocolError(‘Connection aborted.‘, ConnectionResetError
BetrayFree的博客
08-26 1万+
今天遇到这样一个问题：requests.exceptions.ConnectionError: (ProtocolError('Connection aborted.', ConnectionResetError(104, 'Connection reset by peer')), '(Request ID: 39b61a73-ee3d-45e2-95f6-e4d6c8bd1ed8)')，特别是看到“Connection reset by peer”时，DNA瞬间觉醒了，这个问题我遇见过！
已解决requests.exceptions.ConnectionError: (‘Connection aborted .’, ConnectionResetError(10054，“远程主机强迫关
热门推荐
努力让自己发光，对的人才能迎着光而来
12-28 5万+
已解决（Python爬虫报错，设置代理ip解决）requests.exceptions.ConnectionError: (‘Connection aborted .’, ConnectionResetError(10054，"远程主机强迫关闭了一个现有的连接。'，None，1656，None)
python requests请求报错ConnectionError: (‘Connection aborted.‘, error(104, ‘Connection reset by peer‘))
weixin_43925447的博客
02-28 2万+
python requests请求报错 ConnectionError: (‘Connection aborted.’, error(104, ‘Connection reset by peer’)) 可能导致的有两个原因 1. 请求过于频繁, 导致请求被拒绝 解决方法: 每次请求设置一个休眠时间例如 time.sleep(1) 2. 接口有认证或者反爬机制, 识别到是python终端访问, 拒绝了访问 解决方法: 在请求头中设置 User-Agent 绕过验证 如 headers = {'User-A
爬虫 res.json() 报错 requests.exceptions.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
lyugd_dd的博客
09-26 2万+
爬虫 res.jso() 报错不常见原因
爬虫selenium库的使用笔记——用selenium时，提示find. element. by_name()报错
Ray_yusheng的博客
11-26 1206
在爬虫用selenium时，报错如下：AtteibuteError:'WebDriver' object has no attribute 'find_element_by name'
pytorch调用服务器上visdom模块 requests.exceptions.ConnectionError 报错
科研学习笔记！
12-24 4723
服务打开visdom 错误信息：.MaxRetryError: HTTPConnectionPool(host='localhost', port=9000): Max retries exceeded with url: /events (Caused by NewConnectionError('<urllib3.connection.HTTPConnection ...
python读API数据到数据库报错requests.exceptions.ConnectionError
lin_tuer的博客
09-29 3399
写一个一个读取API接口数据的Python脚本，收集数据到Mysql数据库中 脚本同学要辛勤地日夜运行，可是，大约三天后，它，，挂了， 查看 Log 日志，发现报了如下错误requests.exceptions.ConnectionError: HTTPConnectionPool(host='xx.xx.xx.xx', port=8080): Max retries exceeded with
python爬虫 关于requests.exceptions.ConnectionError 等问题
寻绾的博客
12-11 5万+
在爬虫中报如下的错误： requests.exceptions.ConnectionError: (‘Connection aborted.’, RemoteDisconnected(‘Remote end closed connection without response’,)) 发现该错误是因为如下： 1、http的连接数超过最大限制，默认的情况下连接是Keep-alive的，所以这就导致了服务器保持了太多连接而不能再新建连接。 2、ip被封 3、程序请求速度过快。 解决办法如下： 第一种方法： tr
python requests 报错 Connection aborted ConnectionResetError RemoteDisconnected 解决方法
whatday的专栏
10-25 4万+
错误：requests.exceptions.ConnectionError: (‘Connection aborted.’, RemoteDisconnected(‘Remote end closed connection without response’,)) 解决方法 （1）随机切换User-Agent： user_agent_list = ["Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Geck
【已解决】requests.exceptions.ConnectionError: HTTPSConnectionPool(host=‘huggingface.co 2’, port=443): Ma
BetrayFree的博客
12-05 3303
而SOCKS代理则更加通用和灵活。能想到这种办法是因为在代码里能给的模型走代理是可以拉取到的，但是代码却没有拉取到，说明代码是没用走代理的，这个时候我们只需要强制让代码走指定代理就可以了，而这个就要用到linux下的全局代理工具proxychain。所以根据这样来说，我的第一种配置方法是完全可以的，在实际执行中也是可以下载的，也就是可以连接huggingface并执行下载任务。观察上面的图我们就能看出来，配置的代理路径是我们在局域网下的ip地址，所以对于代理软件来说，必须允许局域网，否则可能无法映射到。
【已解决】requests.exceptions.ConnectionError: (‘Connection aborted.’, RemoteDisconnected(‘Remote end clo
马哥的专栏
11-08 2758
requests爬虫报错：requests.exceptions.ConnectionError:
【Python】Transformers加载BERT模型from_pretrained()问题解决
付费专栏已不再维护，请勿购买
02-14 7152
本文分享Transformers加载BERT模型的系列问题解决，错误围绕着from_pretrained()展开
记录微调ChatGLM3
weixin_37694929的博客
12-20 1419
【代码】记录微调ChatGLM3。
Bert模型from_pretrained报网络错误解决办法
weixin_44709340的博客
12-27 1427
第三步：放入同一个文件夹下，命名为你的模型名字，比如我的就是“distilbert-base-uncased”，并且放在代码所在。，然后下载下边的文件（应该是区分TensorFlow和pytorch版本的，不过以防万一，而且文件总共不算很大，我就都下载了）第一步：搜索你要加载的模型，比如我要加载的是distilbert-base-uncased模型。进入Hugging Face官网，下载所需模型到本地，再加载。现在运行原代码就不会报错了。
.from_pretrained
最新发布
10-06
`.from_pretrained()` 是Hugging Face Transformers库中的一种常见用法，用于加载预训练模型及其配置。如果在网络条件不佳的情况下，直接调用该函数下载模型权重可能失败，遇到这种情况有几种解决方案： 1. **找到URL手动下载**： 文章提到的一个思路是找到合适的URL来下载权重文件。这通常涉及到查看仓库（如GitHub）或Hugging Face Model Hub上的特定模型页面，那里会有权重的下载链接。然而，具体操作需要一定的Python基础，比如使用`requests`库来访问URL并保存文件。 2. **修改`from_pretrained`方法**： 如果你不能直接下载，文章建议检查`vocos`包（假设是另一个库）的`from_pretrained`定义，它可能没有`model_key`参数。你可以尝试修改其内部实现，比如将`hf_hub_download`函数中的`repo_id`替换为具体的模型ID或更改默认的下载路径。示例中提到的方法是： ```python # 原始代码 config_path = hf_hub_download(repo_id=repo_id, filename="config.yaml", revision=revision) model_path = hf_hub_download(repo_id=repo_id, filename="pytorch_model.bin", revision=revision) # 修改后的代码（假设我们想要指定本地存储路径） custom_repo_id = "your-model-id" config_path = "path/to/local/config.yaml" if not config_path else config_path model_path = "path/to/local/pytorch_model.bin" if not model_path else model_path Vocos.config_path = config_path Vocos.model_path = model_path ``` 请注意，这些改动应在理解库设计和潜在后果的前提下进行，以免影响库的正常功能。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值