昇思25天学习打卡营第12天|基于MindSpore的GPT2文本摘要

背景

提供免费算力支持，MindSpore学习训练营，打卡第12天，前几天打卡完成了入门的学习，后续有时间对入门的内容，再次整理一下。本次学习的内容为基于MindSpore的GPT2文本摘要。记录学习的过程。记录实验系统中的步骤，对一些内容进行记录和归纳。

数据集加载与处理

1. 数据集加载

   本次实验使用的是nlpcc2017摘要数据，内容为新闻正文及其摘要，总计50000个样本。

2. 数据预处理

   原始数据格式：

   article: [CLS] article_context [SEP]
   summary: [CLS] summary_context [SEP]
   

   预处理后的数据格式：

   [CLS] article_context [SEP] summary_context [SEP]

模型构建

1. 构建GPT2ForSummarization模型，注意shift right的操作。
2. 动态学习率

模型训练

模型推理

数据处理，将向量数据变为中文数据