昇思25天学习打卡营第19天|xkd007|LLM原理和实践（2）基于MindSpore的GPT2文本摘要

1 数据集加载与处理

1. 数据集加载

   本次实验使用的是nlpcc2017摘要数据，内容为新闻正文及其摘要，总计5000个样本。

2. 数据预处理

   原始数据格式：

   article: [CLS] article_context [SEP]
   summary: [CLS] summary_context [SEP]
   

   预处理后的数据格式：

   [CLS] article_context [SEP] summary_context [SEP]

2 模型构建

1. 构建GPT2ForSummarization模型，注意shift right的操作。
2. 动态学习率

3 模型训练 

4 模型推理

数据处理，将向量数据变为中文数据。

（以上代码详原文链接）

原文链接：基于MindSpore的… - JupyterLab