LLM学习笔记-2

在未标记数据上进行预训练

---

1. 本章概要
   

2. 在上节的笔记中，因为训练出的效果，并不是特别理想，在本节中，会用数据进行训练，使得模型更加的好；
   

3. 计算文本生成损失

inputs = torch.tensor([[16833, 3626, 6100],   # ["every effort moves",
                       [40,    1107, 588]])   #  "I really like"]

targets = torch.tensor([[3626, 6100, 345  ],  # [" effort moves you",
                        [588,  428,  11311]]) #  " really like chocolate"]

假设我们有一个inputs张量，包含了2个训练样本（行）的标记ID。，以下改图，进行阐释了此词汇表的产生


在数学优化中，最大化概率分数的对数比分数值本身更容易，这里介绍一个回归损失函数Youtube

其中10.7722称为交叉熵损失。

3. 训练阶段(代码整理完后更新)

4. 训练结果
   
   

5. 这次效果比上一节的效果好了很多。有很大的进步。