阿里千问大模型微调踩坑记录

配置：A100 32G

推理代码可正常运行

微调使用官方给的微调代码，仅修改模型参数路径

问题1：加载权重莫名其妙被killed，无法查看内核日志

解决：用top -c查看所有的进程，可以看到有命令行的全部kill

问题2：Tokenizer class QWenTokenizer does not exist or is not currently imported.

定位到文件

/root/.local/lib/python3.8/site-packages/transformers/models/auto/tokenization_auto.py

看别的分享llama也有这种情况，是transformer版本导致的

trust_remote_code为False

为Ture可以来使用带有自定义代码的模型，因此怀疑是这行代码有问题

引用【 trust_remote_code=False 的意思是,即使在本地目录中没有找到分词器和模型文件,也不会从远程存储库下载它们。如果找不到这些文件,会抛出错误。】