从零开始：训练BERT架构的大型语言模型指南

发菜君

于 2024-09-27 21:15:19 发布

阅读量424

点赞数 12

文章标签： bert 语言模型人工智能大模型学习 AI大模型大模型产品经理

本文链接：https://blog.csdn.net/2401_84494441/article/details/142602586

版权

本文章不是模型微调，是从零构架大模型，是基于Bert架构的。本文主要分两块，一个是tokenizer的构建。二是模型的构建和训练

第一部分 tokenizer分词器训练

bert的编码用的是WordPiece.

分词器训练分4个步骤，1：normalize; 2:pre_tokenizer预分词; 3:model; 4:post_processor后处理

step1 导包

from tokenizers import Tokenizer,processors
from tokenizers.models import WordPiece
from tokenizers.trainers import WordPieceTrainer
from tokenizers.normalizers import BertNormalizer
from tokenizers.pre_tokenizers import BertPreTokenizer
from tokenizers.decoders import WordPiece as WordPieceDecoder

step2 模型初始化，dataset（本文用的是文本）初始化

tokenizer = Tokenizer(WordPiece(unk_token="[UNK]"))
files =  ["/sanguo.txt"]  #你的训练数据，此处用的是三国演义

step3 normalize

tokenizer.normalizer = BertNormalizer(lowercase=True)

step4 预分词

tokenizer.pre_tokenizer = BertPreTokenizer()

step 5 添加special_token并模型训练

special_tokens = ["[UNK]", "[PAD]", "[CLS]", "[SEP]", "[MASK]"]
trainer = WordPieceTrainer(vocab_size=50000, show_progress=True, special_tokens=special_tokens)
tokenizer.train(files, trainer)

step 6 后处理及加入解码器

cls_token_id = tokenizer.token_to_id("[CLS]")
sep_token_id = tokenizer.token_to_id("[SEP]")
tokenizer.post_processor = processors.TemplateProcessing(
    single=f"[CLS]:0 $A:0 [SEP]:0",
    pair=f"[CLS]:0 $A:0 [SEP]:0 $B:1 [SEP]:1",
    special_tokens=[("[CLS]", cls_token_id), ("[SEP]", sep_token_id)],
)
tokenizer.decoder = WordPieceDecoder(prefix="##")

step 7 模型保存

tokenizer.save("tokenizer.json")

如果要在Transformers中使用这个分词器，我们需要将它包装在一个PreTrainedTokenizerFast中。在这我们使用特定的标记器类BertTokenizerFast

from transformers import BertTokenizerFast

wrapped_tokenizer = BertTokenizerFast(tokenizer_object = tokenizer)
wrapped_tokenizer.save_pretrained("./bert")

./bert文件夹下，新增了如下的文件

到此，分词器训练成功，我们的第一步完成，接下来是第二步，模型训练

第二部分模型训练

step 1 导包

from transformers import BertConfig,BertLMHeadModel,BertTokenizer,LineByLineTextDataset,DataCollatorForLanguageModeling,Trainer, TrainingArguments

step 2 加载第一部分训练的分词器

tokenizer = BertTokenizer.from_pretrained("./bert")

step 3 模型配置

config = BertConfig(
    vocab_size=tokenizer.vocab_size,
    is_decoder=True
)
model = BertLMHeadModel(config)

step 4 训练数据加载及处理

dataset = LineByLineTextDataset(
    tokenizer=tokenizer,
    file_path="./sanguo.txt",  # 你的训练数据
    block_size=32
)

data_collator = DataCollatorForLanguageModeling(
    tokenizer=tokenizer,
    mlm=False,
    mlm_probability=0.15
)

step 5 训练参数，训练器等设定

training_args = TrainingArguments(
    output_dir="./output",
    overwrite_output_dir=True,
    num_train_epochs=20,
    per_device_train_batch_size=16,
    save_steps=2000,
    save_total_limit=2
)
trainer = Trainer(
    model=model,
    args=training_args,
    data_collator=data_collator,
    train_dataset=dataset
)

trainer.train()

step 6 模型保存

model.save_pretrained("./bert")

训练完毕后，./bert文件夹下新增了如下文件

到此，我们已经构建并训练完成bert大模型了，我们推理一下看看

模型推理测试

from transformers import pipeline, set_seed

generator = pipeline("text-generation", model="./bert_model")
set_seed(42)
txt = generator("吕布", max_length=50)
print(txt)

再来一个

txt = generator("接着奏乐", max_length=50)
print(txt)

在这里插入图片描述

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述