weixin_46148311的博客

原创 Google官网Bert模型加载方式

如这个模型的架构是BertForMaskedLM，因此用BERT在别的任务上的model类来调用该预训练模型时，要么出现有些参数用不到的情况（如用于MLM任务的预测头），要么出现有些参数没有、需要随机初始化的情况（如用于分类任务的预测头）。如果您不想训练它，您可以寻找具有适合您任务的具有预训练头部的 bert 模型。这是应该发生的事情。1、在C:\Users\admin\convert_bert_original_tf_checkpoint_to_pytorch.py里修改Bert模型的各配置文件的地址。