基于图形的神经多文档摘要（2017年最新研究情况）

一、背景研究

早期的文档摘要主要式抽取式，对句子的重要程度进行排序，与进行句子选择。然后，他们使用一系列的算法选择值得总结的句子，比如图中心性。还有基于整数规划的线性的约束优化，svm回归。

从13年开始，最新神经网络摘要非常受欢迎。但神经网络方法再处理多文档摘要时候还存在问题。多文档摘要中需要考虑句子之间的篇章关系，这很重要。

 

二、历史研究情况

 

神经网络摘要的发展：

例如Rush等人(2015)引入了一种基于神经注意前馈网络的句子压缩模型。

Wang和Ling(2016)采用编译器RNNs来有效地为意见提供简短的摘要。

Cao等人(2016)开发了一个名为AttSum的查询摘要系统，该系统使用查询注意力加权的cnn来处理显著性排名和相关性排名.

Cheng和Lapata(2016)训练了一个带有基于注意力的编解码器的提取摘要系统，该系统能在单个文档中按顺序标记值得总结的句子。

参见et al.(2017)，采用一种抽象的方法，增强了标准的基于注意力的编解码RNNs，使其能够通过指向从源文本复制单词，并跟踪已总结的内容。

这些模型(Cheng和Lapata，2016;参见et al.， 2017)在DUC 2002单文档摘要任务中实现最先进的性能。

由于缺乏大型的多文档摘要数据集来训练计算成本高昂的序列到序列模型，扩大RNN sequence-to-sequence的方法来完成多文档摘要任务并没有成功，这是因为神经网络在捕获复杂的多文档语篇关系方面存在不足。

 

三、研究工作与创新

这项工作提出了一个多文档摘要系统，在文档簇的图表示上，利用深度神经网络的表示能力和句子关系信息编码。在句子关系图中应用图卷积网络。

相关工作：

1、通过使用句子之间的篇章关系来改进这些系统的决策

2、引入词典秩，根据句子间余弦相似度连通图中的特征向量中心性计算句子重要性。

3、在多文档摘要系统（MDS）上提出了优先排序的方法，以平衡信息网络中顶点的威望和多样性，达到改进的效果。

4、通过考虑句子之间的篇章关系，建立多文档图来识别句子的成对排序约束。

5、在我们的工作中，我们建立了一个近似的语篇图(ADG)模型，考虑句子的宏观层面特征，提高句子显著性预测。

 

四、主要创新点

 

我们的多文档摘要模型解决了这些问题:

1)通过将摘要任务分解为不需要昂贵的解码器结构的显著性估计和句子选择，

2)利用句子关系图

五、实现步骤：

方法：

对于一个文档簇，我们的方法分两个步骤提取句子作为摘要:

句子显著性估计和句子选择

 

举例：

1、给定一个文档簇，首先构建一个句子关系图，其中相互作用的句子节点通过边连接起来。

2、对于每个句子，我们使用带有门控循环单位(GRUsent)的RNN，提取最后的隐藏状态作为句子嵌入。

3、然后将图卷积网络应用到以句子嵌入为输入节点特征的句子关系图上，生成反映图形表示的最终句子嵌入。

4、此后，第二级GRU(GRUdoc)产生整个集群嵌入

             

 

六、簇的图三种方法表示：

1、余弦相似度模型（Similarity Graph）。首先，由于之前表示文档集群的方法通常遵循余弦相似度标准，我们的初始基线方法自然使用这种表示。具体来说，如果两个句子之间的tf-idf余弦相似度(使用单词袋模型)超过0.2的阈值，我们就在两个句子之间添加一条边。

2、近似的语篇图(ADG)模型。  G-Flow系统(Christensen et al.， 2013)利用句子之间的语篇关系创建其图表示，称为近似语篇图(ADG)。ADG通过计算话语关系指标来构建句子之间的边界，如:deverbal名词指称、事件和实体延续、话语标记和共指提及。这些特征允许描述句子的关系，而不仅仅是它们的相似性。虽然G-Flow的ADG提供了许多相对于基线图表示的改进，但它也有一些缺点，这些缺点削弱了它的能力

3、个性化话语图(PDG).。通过使边的权重更加多样化来改进边的权重，同时在权重本身中注入更多的信息。在此过程中，我们提供了我们的个性化话语图(PDG)。

 

七、实验结果：

                                        

                                     

 

图与GCNs（卷积神经网络）的结合处理文档之间的句子关系比传统的RNN序列模型更好

 

八、论文地址：

https://www.aclweb.org/anthology/K17-1045.pdf