无监督文本摘要，生成式文本摘要

论文：Unsupervised Summarization for Chat Logs with Topic-Oriented Ranking and Context-Aware Auto-Encoders.AAAI2021

算法概要：

基于相似度选择对话主题句，然后借助降噪自编码器生成对话摘要。

训练：1、采用对比学习的思想训练句子相似度计算模型；

2、训练降噪自编码器用于后续生成对话摘要。

测试：基于MMR的想法，综合考虑重要性和冗余度选取对话主题句，然后使用降噪自编码器生成最终摘要。

一、论文贡献

​

提出无监督神经网络框架RankAE

RankAE组成：

1、训练句子相似度计算模型，选择主题句

2、DAE（去噪自编码器）

二、实现

训练相似度模型：

​

噪声数据构造：

​

1、片段插入：在同一聊天文本中采样词序列，插入到原始对话中，直到序列长度增加 40% 到 60% 的比例，此方法插入概率Pa；

2、句子替换，整个句子换成同一聊天的其他句子，被替换的句子在语料中删除，以便模型学会在粗粒度级别上过滤掉不相关的话语，概率Pr；

3、以概率Ps 保持话语不变。 内容保留的目的是使表示偏向于实际观察到的话语；

train DAE

​推理：

​

三、实验

实验数据：

​实验结果：

​说明：

LEAD是下限

ORACLE 是上限，有监督抽取式；

TRF为transformer

PacSum：通过构建有向图和添加基于边缘方向的权重约束来改进 TextRank；

MeanSum：使用来自输入句子的自动编码器表示的平均值来解码摘要；

SummAE：通过使用 DAE 和对抗性判别器联合重建文档和句子来生成简短的摘要；

示例：

​