【debug记录】ChatGLM2-6b微调中遇到的问题

已于 2023-08-30 16:22:48 修改
阅读量553 收藏
点赞数 1
文章标签： python
于 2023-08-30 16:20:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/beiyoulijun/article/details/132585054
版权

（1）bug：运行ptuning/train.sh报错，报错点 torch.distributed.TCPStore，报错 RuntimeError: Connection reset by peer

fix：在报错点发现获取到的 master_addr 为自定义的主机名而非 localhost，导致网络连接错误，故将 ~/anaconda3/envs/chatglm2-6b/lib/python3.10/site-packages/torch/distributed/rendezvous.py 的244行将 master_addr 变量强制设为127.0.0.1而非自定义的主机名。（参考 MASTER_ADDR and MASTER_PORT · Issue #43207 · pytorch/pytorch · GitHub 和 Runtime error: connection reset by peer in init_process_group - distributed - PyTorch Forums）

beiyoulijun
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
python&anconda系列：【ChatGLM2-6B】运行问题、【ChatGLM2-6B】环境部署
weixin_54626591的博客
12-24 4285
【ChatGLM2-6B】运行问题
connection reset by peer问题总结及解决方案
11-30
找遍了 中英文网站，翻遍了能找的角落，发现了出现故障的原因和原理，及改如何处理，这里记录下，希望能帮助到有需要的小伙伴，少走点弯路， 以上就整理内容：        connection reset by peer问题总结及解决方案 1.服务器的并发连接数超过了其承载量，服务器会将其中一些连接关闭 如果知道实际连接服务器的并发客户端数并没有超过服务器的承载量，则有可能是中了病毒或者木马，引起网络流量异常。 解决方法：可以使用netstat -an命令查看网络连接情况。 2.客户端关掉了浏览器，而服务器还在给客户端发送数据 3.浏览器按了Stop 这两种情况一般不会影响服务器，但是如果对异常信息
pytorch多卡分布式训练torch.distributed问题集锦
jiangxinyi520的博客
05-11 1363
多卡分布式训练pytorch
PyTorch分布式测试踩坑小结
m0_61899108的博客
02-15 3171
前言 本文转载于PyTorch 分布式测试踩坑小结 - 知乎 是基于DLPerf测试框架总体测试过程的踩坑总结。 目录 前言 环境 （Environment） 系统 NGC 容器 Feature support matrix NVIDIA/DeepLearningExamples 踩坑 物理环境运行 安装依赖 apex 包 容器环境运行 多机血泪史 docker 容器连通问题 IB 驱动 rn50 混合精度 PyTorch Official examples/ima..
ChatGLM-6B模型部署【BUG 记录】AssertionError: Torch not compiled with CUDA enabled
qq_45599476的博客
10-08 858
安装完成后，你可以使用以下命令在命令行中验证CUDA是否成功安装：cuda_12.2.2_windows_network和本地有啥区别。
解决ChatGLM-6B的微调算法运行train.sh出错
xddwz的博客
09-04 938
升级transformers。
pytorch distributed常见错误
芒果干的博客
01-16 5445
计算图问题 RuntimeError: Expected to have finished reduction in the prior iteration before starting a new one. This error indicates that your module has parameters that were not used in producing loss. You can enable unused parameter detection by (1) passing th
VS Code中如何调试pytorch分布式训练脚本torch.distributed
钱彬的博客
08-23 1万+
一、问题描述 最近跑一些pytorch代码的时候遇到很多都是采用pytorch的分布式torch.distributed来训练的，相比于传统的nn.DataParallel，使用分布式的训练方式可以显著提升GPU使用率， 从而加快训练速度。 一般常见的pytorch分布式训练命令如下： $ export CUDA_VISIBLE_DEVICES=0,1 $ python -m torch.distributed.launch --nproc_per_node=2 tools/train.py ...
RISC-V Debug SpecificationVersion 1.0-STABLE
10-23
该规范在保持向后兼容性的前提下可能会进行微调，以确保所有版本的一致性。 在术语方面，该文档定义了调试过程中的关键概念，这对于理解调试协议至关重要。这些术语可能包括但不限于：调试模块(DM)、调试接口(DI)、...
ios-webkit-debug-proxy-1.9.0-win64-bin
07-19
ios-webkit-debug-proxy-1.9.0-win64-bin
RISC-V debug调试中文说明.pdf
04-27
RISC-V debug 中文调试说明
libaal-debuginfo-1.0.6-6.mga8.aarch64.rpm
最新发布
05-27
aal-debuginfo报错补丁 rpm -i xx.rpm 注意架构是否一致
libaal-debuginfo-1.0.6-6.mga8.i586.rpm
05-27
aal-debuginfo报错补丁 rpm -i xx.rpm 注意架构是否一致
torch.distributed.DistNetworkError: The server socket has failed to listen on any local network...
yscript的博客
03-26 1470
pytorch-lightning DDP端口报错。
[debug] PyTorch报错：ConnectionResetError: [Errno 104] Connection reset by peer
真理无穷，进一步有进一步的欢喜
01-22 1万+
问题描述： 使用PyTorch 1.10.0，训练报错： ConnectionResetError: [Errno 104] Connection reset by peer 问题解析 参见pytorch的issue I believe the issue is only triggered for the case that both persistent_workers and pin_memory are turned on and iteration is terminated at the t
ChatGLM2-6B windows/lora 微调报错踩坑
m0_71062400的博客
08-30 2296
机器没问题，cuda没问题，发现是省事用的pip下载的pytorch是cpu版的，低级错误。结果只是transformers版本太高了...调低就可以了...卡了N多个小时，什么都试了，崩溃差点没放弃。
[261]Connection reset by peer的常见原因及解决办法
热门推荐
周小董
07-07 82万+
1，如果一端的Socket被关闭（或主动关闭，或因为异常退出而 引起的关闭），另一端仍发送数据，发送的第一个数据包引发该异常(Connect reset by peer)。 Socket默认连接60秒，60秒之内没有进行心跳交互，即读写数据，就会自动关闭连接。 2，一端退出，但退出时并未关闭该连接，另一端如果在从连接中读数据则抛出该异常（Connection reset）。 简单的...
chatglm-6b模型部署
06-06
ChatGLM-6B 模型的部署可以分为以下几个步骤： 1. 下载模型：您可以从 EleutherAI 的 GitHub 仓库下载 ChatGLM-6B 模型。 2. 安装依赖：为了运行 ChatGLM-6B，您需要安装 PyTorch、Transformers 和 Flask 等必要的依赖。 3. 编写代码：您需要编写代码来加载模型并将其包装在 Flask 应用程序中。一个简单的示例代码如下： ```python from transformers import AutoTokenizer, AutoModelForCausalLM import torch from flask import Flask, request, jsonify app = Flask(__name__) # 加载模型和tokenizer tokenizer = AutoTokenizer.from_pretrained("EleutherAI/gpt-neo-2.7B") model = AutoModelForCausalLM.from_pretrained("EleutherAI/gpt-neo-2.7B") # 设置模型为eval模式并移动到GPU上（如果有的话） device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model.eval() model.to(device) # 定义API路由 @app.route('/chat', methods=['POST']) def chat(): # 解析请求的数据 data = request.json message = data['message'] # 对输入进行编码 inputs = tokenizer.encode(message, return_tensors='pt').to(device) # 生成回复 outputs = model.generate(inputs, max_length=50, do_sample=True) # 对输出进行解码 reply = tokenizer.decode(outputs[0], skip_special_tokens=True) # 返回回复 return jsonify({'reply': reply}) if __name__ == '__main__': app.run(debug=True, port=5000) ``` 4. 运行应用程序：运行 Flask 应用程序，并通过 API 调用与 ChatGLM-6B 进行交互。 以上是 ChatGLM-6B 模型部署的简单示例，您可以根据实际情况进行修改和扩展。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值