DiffuSum: Generation Enhanced Extractive Summarization with Diffusion
论文信息:
来源:
IFM Lab, Department of Computer Science, University of California, Davis, CA, USA
haopeng,xiao,jiawei@ifmlab.org
作者:Haopeng Zhang∗, Xiao Liu∗, Jiawei Zhang
1.Motivation
- 大多数的抽取式摘要,通常被表述为一个序列标注问题,通过预测每一个句子的0/1标注,来判断句子是否包含在摘要中。而Ming Zhong, Pengfei Liu(2020)提出的MatchSum模型表示,summary-level的方法,更有利于生成一个好的摘要,但它仍然要先采用序列标注法来获取top-k的句子,才能进一步使用summary-level的方法。
- 由于生成模型具有更大的灵活性,并考虑了输入上下文的整体性,将生成模型应用于广泛的token-level序列标记任务,已经获取了成功(如:生成式摘要)。然而,如何将生成模型应用于sentence-level的任务,如抽取式摘要,尚未得到研究。
- 最近,已经有学者研究如何将diffusion models用于NLP文本生成任务中,并取得不错的结果。
- 因此,本文提出了一种新的摘要抽取范式DiffuSum