作者在使用预训练BERT时遇到问题，发现from_pretrained加载的模型不能直接用于trainer训练，因为其结构与自定义模型不同。from_pretrained主要用于finetuning而非重新训练。
最近预训练BERT遇到这么一个问题，一开始以为transformer或者pytorch版本的问题，不断测试了好久，未能解决，然后我又调试了一下源码，搞了半天，终于搞明白是怎么回事了，这里记录下来，分享给大家：
发生上述错误的原因是调用了from_pretrained方法，加载了一个预训练模型，要想调用trainer去训练这个模型，这个模型必须是自己创建的，而不能是from_pretrained加载的，因为from_pretrained这个方法加载的模型和原生创建的结构并不完全一致，所以必须是自己创建的BERT模型才可以，而from_pretrained是用来fineturn的，不能用来调用trainer继续训练
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
