https://github.com/tatsu-lab/stanford_alpaca二、报错：ImportError: cannot import name ‘openai_object’ from ‘openai’
openai的版本不对，更换版本
pip install openai==0.28.0
三、报错：google.protobuf.message.DecodeError: Error parsing message
- 加载Tokenizer报 google.protobuf.message.DecodeError: Error parsing message 这个错误
错误代码（修改前）：
tokenizer = transformers.AutoTokenizer.from_pretrained( model_args.model_name_or_path, cache_dir=training_args.cache_dir, model_max_length=training_args.model_max_length, padding_side="right", use_fast=False, )修改后：去掉 use_fast=False
tokenizer = transformers.AutoTokenizer.from_pretrained( model_args.model_name_or_path, cache_dir=training_args.cache_dir, model_max_length=training_args.model_max_length, padding_side="right" )
四、报错 torch.distributed.elastic.multiprocessing.errors.ChildFailedError（exitcode返回不是-9）
- 报这个错误原因有很多，错误点不在这里，应该看上面的错误提醒，上面的错误才是真正需要解决的，在分布式训练中，子进程只要报错，主进程总是可以看到torch.distributed.elastic.multiprocessing.errors.ChildFailedError这个错误，因此解决方法可以先把gpu其他节点关掉，使用一个节点去分析终端报的错误，然后去解决
例如：
Traceback (most recent call last):
File "/content/ChatDoctor/train.py", line 25, in
import utils
File "/content/ChatDoctor/utils.py", line 15, in
from openai import openai_object
ImportError: cannot import name 'openai_object' from 'openai' (/usr/local/lib/python3.10/dist-packages/openai/init.py)
Traceback (most recent call last):
File "/content/ChatDoctor/train.py", line 25, in
import utils
File "/content/ChatDoctor/utils.py", line 15, in
from openai import openai_object
ImportError: cannot import name 'openai_object' from 'openai' (/usr/local/lib/python3.10/dist-packages/openai/init.py)
Traceback (most recent call last):
File "/content/ChatDoctor/train.py", line 25, in
import utils
File "/content/ChatDoctor/utils.py", line 15, in
from openai import openai_object
ImportError: cannot import name 'openai_object' from 'openai' (/usr/local/lib/python3.10/dist-packages/openai/init.py)
Traceback (most recent call last):
File "/content/ChatDoctor/train.py", line 25, in
import utils
File "/content/ChatDoctor/utils.py", line 15, in
from openai import openai_object
ImportError: cannot import name 'openai_object' from 'openai' (/usr/local/lib/python3.10/dist-packages/openai/init.py)
[2024-02-09 11:04:21,257] torch.distributed.elastic.multiprocessing.api: [ERROR] failed (exitcode: 1) local_rank: 0 (pid: 14644) of binary: /usr/bin/python3
Traceback (most recent call last):
File "/usr/local/bin/torchrun", line 8, in
sys.exit(main())
File "/usr/local/lib/python3.10/dist-packages/torch/distributed/elastic/multiprocessing/errors/init.py", line 346, in wrapper
return f(*args, **kwargs)
File "/usr/local/lib/python3.10/dist-packages/torch/distributed/run.py", line 806, in main
run(args)
File "/usr/local/lib/python3.10/dist-packages/torch/distributed/run.py", line 797, in run
elastic_launch(
File "/usr/local/lib/python3.10/dist-packages/torch/distributed/launcher/api.py", line 134, in call
return launch_agent(self._config, self._entrypoint, list(args))
File "/usr/local/lib/python3.10/dist-packages/torch/distributed/launcher/api.py", line 264, in launch_agent
raise ChildFailedError(
torch.distributed.elastic.multiprocessing.errors.ChildFailedError:
红框里才是报错的真正原因，有可能是openai包版本问题，需要更改openai包的版本
五、报错：torch.distributed.elastic.multiprocessing.api:failed (exitcode: -9) local_rank（exitcode返回是-9）
- 初步判定，cpu内存OOM造成的，gpu显存不够，ZeRO3卸载参数至cpu，cpu显存不够发生OOM。
个人解决方式(仅参考)，详细放置github：
https://github.com/tatsu-lab/stanford_alpaca/issues/245可能是由于GPU或RAM内存不足造成的
一开始也遇到了这个问题，我的配置是这样的
- torch：2.2.1
- cuda：12.1
- cudnn：8
- python：3.10
- GPU：A40 48G （开启 deepspeed ，使用 ZerO3，bf16)
- RAM：52G
- model：Llama-2-7b-chat-hf
后来更改了配置可以工作了，配置如下：
- CPU num：56
- RAM size: 256G
- GPU: V100 16G * 8
开启了deepspeed，因为V100不支持关闭了bf16 TF32，使用fp16
因此需要对官方的bash和deepspeed的json进行修改：{ // 新增 fp16 配置 "fp16": { // FP16训练设置，减少内存使用，加速训练，但需注意精度控制。 "enabled": "auto", // 是否启用FP16训练，auto表示自动决定。 "loss_scale": 0, // 损失缩放值，0表示自动调整，用于防止梯度下溢。 "loss_scale_window": 1000, // 自动调整损失缩放值的窗口大小。 "initial_scale_power": 16, // 初始损失缩放值的幂级。 "hysteresis": 2, // 延迟增加损失缩放值的迭代次数。 "min_loss_scale": 1 // 允许的最小损失缩放值。 }, "bf16": { // BF16训练设置，类似于FP16但在某些硬件上更优。 "enabled": "auto" // 是否启用BF16训练，'auto'表示自动决定。 }, "optimizer": { // 优化器设置。 "type": "AdamW", // 优化器类型，AdamW是一种常见的优化算法。 "params": { "lr": "auto", // 学习率，auto表示自动调整。 "betas": "auto", "eps": "auto", "weight_decay": "auto" } }, "scheduler": { // 学习率调度器设置。 "type": "WarmupDecayLR", // 调度器类型，用于管理学习率如何随时间变化。 "params": { "total_num_steps": "auto", // 总步数，auto表示自动计算。 "warmup_min_lr": "auto", // 预热期间的最小学习率，auto表示自动调整。 "warmup_max_lr": "auto", // 预热期间的最大学习率，auto表示自动调整。 "warmup_num_steps": "auto" } }, "zero_optimization": { // ZeRO优化策略设置，用于在大型模型训练中优化内存使用。 "stage": 3, // ZeRO优化的阶段，阶段3提供最大的内存优化。 "offload_optimizer": { "device": "cpu", // 优化器状态卸载到CPU。 "pin_memory": true // 是否固定内存，以加速CPU至GPU的数据传输。 }, "offload_param": { // 参数卸载到CPU。 "device": "cpu", "pin_memory": true // 是否固定内存，以加速CPU至GPU的数据传输。 }, "overlap_comm": true, // 是否在训练过程中重叠通信和计算。 "contiguous_gradients": true, // 是否使梯度在内存中连续，可以提高某些操作的性能。 "sub_group_size": 1e9, // 用于分组参数的子集大小，以优化通信。 "reduce_bucket_size": "auto", // 减少操作的桶大小，auto表示自动调整。 "stage3_prefetch_bucket_size": "auto", // 预取桶大小，在ZeRO-3中使用，auto表示自动调整。 "stage3_param_persistence_threshold": "auto", // 参数持久性门槛，auto表示自动调整。 "stage3_max_live_parameters": 1e9, // 最大活动参数数量。 "stage3_max_reuse_distance": 1e9, // 最大重用距离，影响参数缓存策略。 "stage3_gather_16bit_weights_on_model_save": true // 在模型保存时是否收集16位权重。
自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。
深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！
由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新
如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注Python）
ert/9f49b566129f47b8a67243c1008edf79.png)
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！
由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新
如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注Python）
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
