本文介绍了如何保存和重新加载微调的Transformer模型，如BERT、GPT、GPT-2和Transformer-XL。需要保存的文件包括PyTorch序列化的模型、JSON格式的配置文件以及词汇表。默认文件名和从预训练模型加载的步骤也被详细阐述。
作者|huggingface 编译|VK 来源|Github
本节说明如何保存和重新加载微调模型(BERT，GPT，GPT-2和Transformer-XL)。你需要保存三种文件类型才能重新加载经过微调的模型：
- 模型本身应该是PyTorch序列化保存的模型(https://pytorch.org/docs/stable/notes/serialization.html#best-practices)
- 模型的配置文件是保存为JSON文件
- 词汇表(以及基于GPT和GPT-2合并的BPE的模型)。
这些文件的默认文件名如下：
- 模型权重文件：
pytorch_model.bin - 配置文件：
config.json - 词汇文件：
vocab.txt代表BERT和Transformer-XL，vocab.json代表GPT/GPT-2(BPE词汇)， - 代表GPT/GPT-2(BPE词汇)额外的合并文件：
merges.txt。
如果使用这些默认文件名保存模型，则可以使用from_pretrained()方法重新加载模型和tokenizer。
这是保存模型，配置和配置文件的推荐方法。词汇到output_dir目录，然后重新加载模型和tokenizer：
from transformers im
最低0.47元/天 解锁文章
扫一扫
6万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
