调用chatGML-6B原始模型报错：RuntimeError: Internal: src/sentencepiece_processor.cc(1101) [model_proto-＞ParseF

背景

根据chatGML-6B官网提示，准备做简单的预训练，样本数据用的也是官方提供的。但是在执行train.sh时，报以下错误：

RuntimeError: Internal: src/sentencepiece_processor.cc(1101) [model_proto->ParseFromArray(serialized.data(),serialized.size())]

原因排查

可能原因一：模型没有被真正clone下来

这个可以根据本地模型大小判断是否真正被clone下来，如果没用采用以下方式

#Mac 安装git lfs
brew install git-lfs

#开启1fs功能
git lfs install

# 正常clone
git clone XXXXX

可能原因二：ice_text.model文件和主分支不一样，主分支数据

获取 ice_text.model即可