大模型SFT、finetune之后的models通病。大概原因就是缺少原pretrained模型中一些.py,.json文件导致的,就是训练后只保存了一些权重相关的文件,但是要进行推理的话,还需要自行cp过去一些“配置文件”
比如MiniCPM-V-2.6在进行官方的finetune后(swift进行finetune后好像不会有这个问题,具体没去看),保留下来的ckpt文件夹跟原版的对比(左finetune右pretrained),缺少了三个文件
自行CP过去再进行推理,问题解决。其他的大模型或多或少也有类似的问题,比如InternVL-2,我都会习惯性加这个命令后再推理
cp /.../InternVL2-4B/*.py ${OUTPUT_DIR}/