配置:A100 32G
推理代码可正常运行
微调使用官方给的微调代码,仅修改模型参数路径
问题1:加载权重莫名其妙被killed,无法查看内核日志
解决:用top -c查看所有的进程,可以看到有命令行的全部kill
问题2:Tokenizer class QWenTokenizer does not exist or is not currently imported.
定位到文件
/root/.local/lib/python3.8/site-packages/transformers/models/auto/tokenization_auto.py
看别的分享llama也有这种情况,是transformer版本导致的
trust_remote_code为False
为Ture可以来使用带有自定义代码的模型,因此怀疑是这行代码有问题
引用【 trust_remote_code=False 的意思是,即使在本地目录中没有找到分词器和模型文件,也不会从远程存储库下载它们。如果找不到这些文件,会抛出错误。】