利用GPT2LMHeadModel构建预训练模型

上一篇文章介绍了入门huggingface预训练的新路历程，模型也通了，但毕竟手动写出来的都是bug，也遇到了比较多问题，比如模型保存与加载的过程就麻烦。

上一篇提到，在闲聊对话模型debug过程中，看到了如下代码

class GPT2LMHeadModel(GPT2PreTrainedModel):
    
    def __init__(self, config):
        super().__init__(config)
            self.transformer =GPT2Model(config)
            self.lm_head = nn.Linear(config.n_embd, config.vocab_size, bias=False)

了解了预训练模型之后，这不就通了吗？前面是一个预训练的GPT2模型，后面是一个用于下游任务的线性层。人家都给咱写好了。

那么，就去看看这个GPT2LMHeadModel。

源码中，该模型一路继承GPT2PreTrainedModel，继承PreTrainedModel，该模型在transformers.modeling_utils中，该模型有save_pretrained 和 from_pretrained函数，不用我们在写什么保存模型读取模型的过程了。

而GPT2Model也就是我们前面古典小说里的模型结构，一样的，只不过这里是封装好的。包括词向量和位置向量、模型主体、曾归一化，都通过config的参数设置具体形状。

再去看看GPT2LMHeadModel的文档，

import torch
from transformers import GPT2Tokenizer, GPT2LMHeadModel

tokenizer = GPT2Tokenizer.from_pretrained("gpt2")
model = GPT2LMHeadModel.from_pretrained("gpt2")

那结合上一篇，这不就有了，最重要的tokenizer和model都给了，那我们就可以处理我们的数据转换成id，然后加载想要的预训练模型，在我们的数据上训练几个epoch（一般两三个就差不多了），用写好的save_pretrained保存模型即可。

到此，又有一个新的问题，如何通过config参数，设置模型，这样还能用预训练吗？感觉上来说，用config文件可以方便的定义自己的模型结构，应该是需要从头训练，再看再报。