[算法前沿]--029-Transformers的生成任务-摘要生成

! pip install datasets transformers rouge-score nltk

分布式训练请查看 这里.

微调transformer模型解决摘要生成任务

在本notebook中，我们将展示如何微调 🤗 Transformers中的预训练模型来解决摘要生成任务。我们使用XSum dataset数据集。这个数据集包含了BBC的文章和一句对应的摘要。下面是一个例子：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qD2HyVIM-1687933197277)(https://github.com/huggingface/notebooks/blob/master/examples/images/summarization.png?raw=1)]

对于摘要生成任务，我们将展示如何使用简单的加载数据集，同时针对相应的仍无使用transformer中的Trainer接口对模型进行微调。

model_checkpoint = "t5-small"

只要预训练的transformer模型包含seq