文献阅读

Investigating Pretrained Language Models for Graph-to-Text Generation

论文地址： https://arxiv.org/abs/2007.08426

1 简介

	这篇论文主要是探究预训练语言模型在AMR-to-Text，KG上的应用，其中主要做了一下研究
		1 首先直接使用预训练语言模型应用到图到文本生成任务，并取得了很好的效果
		2 在预训练模型的基础上，增加额外的预训练任务（与目标任务相关的任务），然后再对目标任务进行fine-tune
		3 探究为何预训练模型能够在图到文本生成任务上有这么好的效果

2 实验

2.1 model

论文使用BART和T5模型作为预训练模型

2.2 Datasets

AMR-to-Text: 使用AMR2.0数据集
KG-to-Text:
	通识领域： WebNLG
	科学领域：AGENDA
	![在这里插入图片描述](https://img-blog.csdnimg.cn/20210426153035636.PNG#pic_center)

2.3 Result

实验结果可在论文中查看

2.4 总结

论文表明，大型预训练模型在图到文本生成任务上有着很好的效果，增加与任务相关的预训练任务能够进一步提高效果。且实验表明，即使破坏图的结构，预训练学到的知识也能在一定程度上还原图的结构（特别是对于KG）, 这说明预训练学到的知识是有助于图的编码的