昇思MindSpore技术公开课——第四课：GPT2

1、学习总结

1.1Language Model

预测下一个单词的模型。

1.2GPT-2

在输入与输出之间加一个任务指令。

1.3GPT2 全链接层模块的实现

生成下三角矩阵，灰色部分待预测。

做完softmax之后，上三角的位置会全部变成 0。

self-attention之后还要加一层project层全连接层（ mindnlp.models.utils.utils.Conv1D )，就是对得到的矩阵再进行一次变换。

2、学习心得

GPT2的论文介绍了模型的基本结构和训练方法。GPT2是一个基于Transformer的编码器-解码器模型，采用了大量的并行计算和GPU加速技术进行训练。在训练过程中，模型通过自回归的方式生成目标序列，并使用监督学习和无监督学习相结合的方法进行优化。这种训练方式使得GPT2能够更好地理解和生成自然语言文本。

3、经验分享

1. 在学习GPT-2之前，我建议深入了解Transformer模型和编码器-解码器结构的原理。这有助于更好地理解GPT-2的工作方式和优化方法。
2. 在数据预处理阶段，最核心的挑战是如何对数据进行填充。在确保最大序列长度一致的情况下，我们不仅要对过长的训练样本进行裁剪，还要对不足长度的样本进行填充，以确保所有数据样本的长度一致。关于裁剪的方法多种多样，不同的裁剪策略可能会对模型的训练效果产生影响。为了更好地平衡信息保留，例如在课程中的摘要任务中，我们选择保留所有的摘要数据，而对原文数据进行裁剪。因此，选择合适的数据裁剪方案对于数据预处理至关重要。

4、课程反馈

课程不仅关注理论，还高度重视实际操作和动手能力。这种教学方法鼓励学员亲自动手，通过实践来巩固和加深对课程内容的理解；从课程大纲到具体内容，都显示出精心设计和组织。这种结构使得课程内容易于理解，有助于学员更好地吸收和记忆。

5、未来展望

独立完成文本生成任务。