训练自己的GPT2

1.预训练与微调

所谓的预训练，就是在海量的通用数据上训练大模型。比如，我把全世界所有的网页上的文本内容都整理出来，把全人类所有的书籍、论文都整理出来，然后进行训练。这个训练过程代价很大，首先模型很大，同时数据量又很大，比如GPT3参数量达到了175B，训练数据达到了45TB，训练一次就话费上千万美元。如此大代价学出来的是一个通用知识的模型，他确实很强，但是这样一个模型，可能无法在一些专业性很强的领域上取得比较好的表现，因为他没有针对这个领域的数据进行训练过。

因此，大模型火了之后，很多人都开始把大模型用在自己的领域。通常也就是把自己领域的一些数据，比如专业书、论文等等整理出来，使用预训练好的大模型在新的数据集上进行微调。微调的成本相比于预训练就要小得多了。

2.准备工作

首先需要安装第三方库transformers，transformers是一个用于自然语言处理（NLP）的Python第三方库，实现Bert、GPT-2和XLNET等比较新的模型，支持TensorFlow和PyTorch。以及下载预训练好的模型权重。

pip install transformers

安装完成之后，我们可以直接使用下面的代码，来构造一个预训练的GPT2

from transformers import GPT2Tokenizer, GPT2LMHeadModel

tokenizer = GPT2Tokenizer.from_pretrained("gpt2")
model = GPT2LMHeadModel.from_pretrained("gpt2")

当运行的时候，代码会自动从hugging face上下载模型。但是由于hugging face是国外网站，可能下载起来很慢或者无法下载，因此我们也可以自己手动下载之后在本地读取。

打开hugging face的网站，搜索GPT2。或者直接进入GPT2的页面。

下载上图中的几个文件到本地，假设下载到./gpt2文件夹

然后就可以使用下面的代码来尝试预训练的模型直接生成文本你的效果。

from transformers import GPT2Tokenizer, GPT2LMHeadModel


tokenizer = GPT2Tokenizer.from_pretrained("./gpt2")
model = GPT2LMHeadModel.from_pretrained("./gpt2")

q = "tell me a fairy story"

ids = tokenizer.encode(q, return_tensors='pt')
final_outputs = model.generate(
    ids,
    do_sample=True,
    max_length=100,
    pad_token_id=model.config.eos_token_id,
    top_k=50,
    top_p=0.95,
)

print(tokenizer.decode(final_outputs[0], skip_special_tokens=True))

回答如下：

2.在自己的数据上进行微调

首先把我们的数据，也就是文本，全部整理到一起。比如可以把所有文本拼接到一起。

假设所有的文本数据都存到一个文件中。那么可以直接使用下面的代码进行训练。

import torch
from torch.utils.data import Dataset, DataLoader
from transformers import GPT2Tokenizer, GPT2ForSequenceClassification, AdamW, GPT2LMHeadModel
from transformers import DataCollatorForLanguageModeling
from transformers import Trainer, TrainingArguments, TextDataset

def load_data_collator(tokenizer, mlm = False):
    data_collator = DataCollatorForLanguageModeling(
        tokenizer=tokenizer, 
        mlm=mlm,
    )
    return data_collator

def load_dataset(file_path, tokenizer, block_size = 128):
    dataset = TextDataset(
        tokenizer = tokenizer,
        file_path = file_path,
        block_size = block_size,
    )
    return dataset


def train(train_file_path, model_name,
          output_dir,
          overwrite_output_dir,
          per_device_train_batch_size,
          num_train_epochs,
          save_steps):
    tokenizer = GPT2Tokenizer.from_pretrained(model_name)
    train_dataset = load_dataset(train_file_path, tokenizer)
    data_collator = load_data_collator(tokenizer)

    tokenizer.save_pretrained(output_dir)

    model = GPT2LMHeadModel.from_pretrained(model_name)

    model.save_pretrained(output_dir)

    training_args = TrainingArguments(
          output_dir=output_dir,
          overwrite_output_dir=overwrite_output_dir,
          per_device_train_batch_size=per_device_train_batch_size,
          num_train_epochs=num_train_epochs,
      )

    trainer = Trainer(
          model=model,
          args=training_args,
          data_collator=data_collator,
          train_dataset=train_dataset,
    )

    trainer.train()
    trainer.save_model()


train_file_path = "./train.txt"   # 你自己的训练文本
model_name = './gpt2'  # 预训练的模型路径
output_dir = './custom_data'  # 你自己设定的模型保存路径
overwrite_output_dir = False
per_device_train_batch_size = 96  # 每一台机器上的batch size。
num_train_epochs = 50   
save_steps = 50000

# Train
train(
    train_file_path=train_file_path,
    model_name=model_name,
    output_dir=output_dir,
    overwrite_output_dir=overwrite_output_dir,
    per_device_train_batch_size=per_device_train_batch_size,
    num_train_epochs=num_train_epochs,
    save_steps=save_steps
)     

训练完成之后，推理的话，直接使用第二节里的代码，将预训练模型路径换成自己训练的模型路径就行了