背景
根据chatGML-6B官网提示,准备做简单的预训练,样本数据用的也是官方提供的。但是在执行train.sh时,报以下错误:
RuntimeError: Internal: src/sentencepiece_processor.cc(1101) [model_proto->ParseFromArray(serialized.data(),serialized.size())]
原因排查
可能原因一:模型没有被真正clone下来
这个可以根据本地模型大小判断是否真正被clone下来,如果没用采用以下方式
#Mac 安装git lfs
brew install git-lfs
#开启1fs功能
git lfs install
# 正常clone
git clone XXXXX
可能原因二:ice_text.model文件和主分支不一样,主分支数据
获取 ice_text.model即可