依据models: Models of MindSpore - Gitee.com文档上的方法执行单机运行预训练,报错:
执行分布式运行预训练,报错:
执行的命令是
Bert模型中的使用Gather算子完成embedding操作,操作会根据输入数据的值来映射字典表,字典表的大小由配置文件中的vocab_size来决定,当实际使用的数据集编码时使用的字典表大小超过配置的大小时,操作gather算子时就会发出越界访问的错误,从而Gather算子会报错中止程序。
参考资料:https://gitee.com/mindspore/models/tree/r1.7/official/nlp/bert#faq