从零训练Bert架构大模型

AI-智能

已于 2024-05-05 14:13:11 修改

阅读量1k

点赞数 15

文章标签：人工智能自然语言处理 prompt chatgpt 机器学习

于 2024-05-01 11:00:00 首次发布

本文链接：https://blog.csdn.net/2401_82469710/article/details/138269611

版权

本文详细介绍了如何从头构建BERT模型，包括tokenizer的WordPiece分词器训练，以及模型的配置、训练数据处理和BERTLMHeadModel的训练过程。作者还展示了如何在Transformers库中应用这些模型进行推理和模型训练的指导。

摘要由CSDN通过智能技术生成

本文章不是模型微调，是从零构架大模型，是基于Bert架构的。本文主要分两块，一个是tokenizer的构建。二是模型的构建和训练

第一部分 tokenizer分词器训练

bert的编码用的是WordPiece.

分词器训练分4个步骤，1：normalize; 2:pre_tokenizer预分词; 3:model; 4:post_processor后处理

step1 导包

pyton
复制代码
from tokenizers import Tokenizer,processors
from tokenizers.models import WordPiece
from tokenizers.trainers import WordPieceTrainer
from tokenizers.normalizers import BertNormalizer
from tokenizers.pre_tokenizers import BertPreTokenizer
from tokenizers.decoders import WordPiece as WordPieceDecoder

step2 模型初始化，dataset（本文用的是文本）初始化

python
复制代码
tokenizer = Tokenizer(WordPiece(unk_token="[UNK]"))
files =  ["/sanguo.txt"]  #你的训练数据，此处用的是三国演义

step3 normalize

python
复制代码
tokenizer.normalizer = BertNormalizer(lowercase=True)

step4 预分词

python
复制代码
tokenizer.pre_tokenizer = BertPreTokenizer()

step 5 添加special_token并模型训练

python
复制代码
special_tokens = ["[UNK]", "[PAD]", "[CLS]", "[SEP]", "[MASK]"]
trainer = WordPieceTrainer(vocab_size=50000, show_progress=True, special_tokens=special_tokens)
tokenizer.train(files, trainer)

step 6 后处理及加入解码器

python
复制代码
cls_token_id = tokenizer.token_to_id("[CLS]")
sep_token_id = tokenizer.token_to_id("[SEP]")
tokenizer.post_processor = processors.TemplateProcessing(
    single=f"[CLS]:0 $A:0 [SEP]:0",
    pair=f"[CLS]:0 $A:0 [SEP]:0 $B:1 [SEP]:1",
    special_tokens=[("[CLS]", cls_token_id), ("[SEP]", sep_token_id)],
)
tokenizer.decoder = WordPieceDecoder(prefix="##")

step 7 模型保存

python
复制代码
tokenizer.save("tokenizer.json")

如果要在Transformers中使用这个分词器，我们需要将它包装在一个PreTrainedTokenizerFast中。在这我们使用特定的标记器类BertTokenizerFast

python
复制代码
from transformers import BertTokenizerFast

wrapped_tokenizer = BertTokenizerFast(tokenizer_object = tokenizer)
wrapped_tokenizer.save_pretrained("./bert")

./bert文件夹下，新增了如下的文件

到此，分词器训练成功，我们的第一步完成，接下来是第二步，模型训练

第二部分模型训练

step 1 导包

python
复制代码
from transformers import BertConfig,BertLMHeadModel,BertTokenizer,LineByLineTextDataset,DataCollatorForLanguageModeling,Trainer, TrainingArguments

step 2 加载第一部分训练的分词器

python
复制代码
tokenizer = BertTokenizer.from_pretrained("./bert")

step 3 模型配置

python
复制代码
config = BertConfig(
    vocab_size=tokenizer.vocab_size,
    is_decoder=True
)
model = BertLMHeadModel(config)

step 4 训练数据加载及处理

python
复制代码
dataset = LineByLineTextDataset(
    tokenizer=tokenizer,
    file_path="./sanguo.txt",  # 你的训练数据
    block_size=32
)

data_collator = DataCollatorForLanguageModeling(
    tokenizer=tokenizer,
    mlm=False,
    mlm_probability=0.15
)

step 5 训练参数，训练器等设定

python
复制代码
training_args = TrainingArguments(
    output_dir="./output",
    overwrite_output_dir=True,
    num_train_epochs=20,
    per_device_train_batch_size=16,
    save_steps=2000,
    save_total_limit=2
)
trainer = Trainer(
    model=model,
    args=training_args,
    data_collator=data_collator,
    train_dataset=dataset
)

trainer.train()

step 6 模型保存

python
复制代码
model.save_pretrained("./bert")

训练完毕后，./bert文件夹下新增了如下文件

到此，我们已经构建并训练完成bert大模型了，我们推理一下看看

模型推理测试

python
复制代码
from transformers import pipeline, set_seed

generator = pipeline("text-generation", model="./bert_model")
set_seed(42)
txt = generator("吕布", max_length=50)
print(txt)

再来一个

python
复制代码
txt = generator("接着奏乐", max_length=50)
print(txt)

看起来不错，比我参考的gpt2的强点，可能bert架构在小训练量的情况比gpt架构好点吧。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓

在这里插入图片描述