【NAACL 2019】《 Adversarial Domain Adaptation Using Artificial Titlesfor Abstractive Title Generation》

【NAACL 2019】《 Adversarial Domain Adaptation Using Artificial Titlesfor Abstractive Title Generation》阅读笔记

英文标题：Adversarial Domain Adaptation Using Artificial Titlesfor Abstractive Title Generation
中文翻译：利用人工标题生成抽象标题的对抗性领域适应
原文链接: http://jcst.ict.ac.cn:8080/jcst/EN/10.1007/s11390-017-1758-3.

---

研究问题

本文提出，标题摘要相对于一般文本摘要来说，其摘要内容更加简洁，浓缩度更高。一个常见的问题是缺少大量带有此类摘要的文本。 获得高质量的标签数据可能既困难又昂贵，特别是如果需要作者生成的摘要时。 一种选择是使用作者生成的标题来训练来自另一个域的数据，但是由于域之间的差异，模型性能可能会受到影响。 词汇扩展可用于处理源域和目标域中的不同词汇，对抗域自适应（ADA）可用于合并跨域的嵌入式特征表示。

一、本文工作

解码器是将原文生成标题的最关键部分
(1) 建议使用人工标题为未标记的目标文档，来训练解码器来学习新领域中标题的语法风格
(2) 提出训练解码器一系列步骤，鼓励源和目标嵌入空间在适应过程中保持校准，
(3) 表明我们的模型改进了ADA和扩展词汇表，进一步提高有限数量的标记目标数据可以在所有标记目标数据上实现接近训练的性能。

二. 对抗域自适应标题摘要模型

对抗领域自适应（ADA）

本文使用PGN进行摘要生成，具体为一个Bi-LSTM编码器、一个LSTM解码器和一个指针网络。在编码器输出处加入一个领域分类器。模型在生成摘要后，其生成loss Ly 反传到编码器进行优化；在进行领域分类后，其分类loss Ld 首先进行取反，然后加入一个权重 lambda，这么做的目的是最大化分类损失，让模型更好地区分领域。

我们使用生成的序列损失（图中上行回传）和对抗域分类器损失（图中下行回传）进行综合考量，loss取反，最大化域间的损失，最小化生成摘要的loss

“概念表示”

在本文中，我们将编码器生成的嵌入式表示，我们称它为表示输入文本中的“概念”，在不同域之间可能有所不同。为了解决这个问题，我们采用了提出的方法，该方法使用一个域分类器来迫使“概念表示“跨域对齐。

我们使用一个具有域自适应的编码器-解码器RNN模型来生成标题。标记的源数据被输入给编码器，解码器学习生成摘要标题。同时，源数据和未标记的目标域数据由双向LSTM编码作为其“概念表示”，域分类器试图学习区分两个域的表示。

模型公式

生成loss为负对数似然：

分类loss为二元交叉熵：

总体loss：

最后，作者加入一个自适应过程来调整lambda的值：

在模型训练的5000轮内，p从0.0上升到1.0，在之后保持1.0不变。
人工标题
一般标题都比较简短，因此选择4-10个词的target。一般选择文本的第一句或者第二句作为人工标题。

Sequential 训练

本文提出的的适应方法ASADA如下图所示：

a) 首先在未经标记的target域的人工标题上训练带有联合词汇的模型。；
b) 然后使用ADA将预训练模型的嵌入空间适配到源域，以将源域作为辅助自适应数据继续在目标域上进行训练；
c) 在定义了联合嵌入空间的情况下，在源域上训练模型，该域具有标题文本对，并且未标记的目标域用作辅助适应数据，以使模型嵌入与目标数据保持一致。

三. 总结

本文提出了一个对抗域自适应的标题摘要方法，让模型自适应地对未知领域的文本进行标题生成。一般新闻摘要的前1-2句都是全文的Lead Sentence，通过学习这几句话的表示来进行标题生成相比于输入原文进行标题生成会降低噪声的影响，有更好的性能提升。

另附个人博客：https://dongguanting.github.io/