昇思25天学习打卡营第23天|基于MindSpore的GPT2文本摘要

环境安装

%%capture captured_output
# 实验环境已经预装了mindspore==2.2.14，如需更换mindspore版本，可更改下面mindspore的版本号
!pip uninstall mindspore -y
!pip install -i https://pypi.mirrors.ustc.edu.cn/simple mindspore==2.2.14

!pip install tokenizers==0.15.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
# 该案例在 mindnlp 0.3.1 版本完成适配，如果发现案例跑不通，可以指定mindnlp版本，执行`!pip install mindnlp==0.3.1`
!pip install mindnlp

数据集加载与处理

数据集加载

本次实验使用的是nlpcc2017摘要数据，内容为新闻正文及其摘要，总计50000个样本。

数据预处理

原始数据格式：

article: [CLS] article_context [SEP]
summary: [CLS] summary_context [SEP]
预处理后的数据格式：

[CLS] article_context [SEP] summary_context [SEP]

因GPT2无中文的tokenizer，我们使用BertTokenizer替代。

模型构建

1. 构建GPT2ForSummarization模型，注意shift right的操作。

2. 动态学习率

模型训练

注：建议使用较高规格的算力，训练时间较长

模型推理

数据处理，将向量数据变为中文数据