【SIGIR 2022】ADPL: Adversarial Prompt-based Domain Adaptation for Dialogue Summarization with Knowled

--JinJIKIKO--

已于 2022-10-05 19:28:42 修改

阅读量467

点赞数 1

分类专栏：自然语言处理机器学习文章标签：自然语言处理人工智能

于 2022-09-27 14:52:11 首次发布

本文链接：https://blog.csdn.net/qq_44861716/article/details/127012252

版权

自然语言处理同时被 2 个专栏收录

5 篇文章 0 订阅

订阅专栏

机器学习

3 篇文章 0 订阅

订阅专栏

在这里插入图片描述

摘要

研究任务：跨领域对话摘要。
研究背景：当前的跨领域摘要方法需要在大量外部数据上进行预训练，因此本文想要使用轻量的微调方法。
研究方法：本文提出Adversarial Disentangled Prompt Learning（对抗解耦提示学习，ADPL）方法，使用Domain-Invariant prompt（DIP）、Domain-Specific prompt（DSP）、Task-Oriented Prompt（TOP），分别用于解耦和迁移任务共享的知识、引导模型关注领域特定的知识、捕捉任务特定的知识，以生成高质量的对话摘要。
作者并不更新整个预训练语言模型的参数，而只对prompt的参数进行学习。实验显示，与prefix-tuning相比，本文所提出的新颖prompt设计可以产生更加连贯、更符合事实以及更加相关的知识。

方法

1 Domain-invariant Prompt

目的：解耦出源域和目标域的知识。为了达到这一目的，作者提出DIP部件，该部件有着一个领域辨别器，并根据实例特定的领域特征产生prompt的Embedding。

既然是根据领域特征产生embedding 为什么叫做领域不变的prompt？---------------- 🔨 因为要先获得领域特征，然后进行对抗训练，才能得到领域不变的特征，从而产生领域不变的prompt。

部件1：Instance-Specific Domain Feature：获取和当前实例相关的领域特征。

定义领域词集合（domain word set）。
使用LDA模型抽取一些主题词，然后计算主题词和领域 $D_{i}$ 内所有词的互信息，根据MI得分对主题词进行排序，选择排名top的主题词作为候选。
对于数量满足下列式子的主题词，我们认为该主题词与领域 $D_{i}$ 更加相关。一个主题词可以与多个领域相关。

LDA（Latent Dirichlet Allocation）主题模型

根据领域词集合对实例进行特征标注。
从主题词中根据token embedding的相似程度，挑选和当前实例最相关的m个主题词，作为领域特征。

利用Pegasus模型计算实例特定的领域特征。

部件2：DIP Encoder：利用领域特征对prompt的表示进行补充。
给定一段随机初始化的prompt表示：
在这里插入图片描述
利用LSTM对所得到的领域特征对该prompt进行动态编码：

部件3：Domain Discriminator：产生领域不变的特征。
利用domain discriminator来对齐不同领域的表示，以获得领域不变的表示。
首先利用一个domain classifier来学习不同领域之间的不同：
在这里插入图片描述

其中 $H^{𝑑i}$ 为DIP encoder的输出。
将domain classifier的梯度进行反转，就可以模糊不同领域之间的差别，学习领域间的一致性。

这部分的主要思路是，我们想要得到领域无关的特征，但是领域无关的特征难以直接得到，因此先计算领域相关的特征，然后对这部分梯度反转的训练，以得到领域一致性的特征。

2 Domain-specific Prompt

这部分的主要目的是学习领域特定的知识。
作者基于dialog state和dialog query来学习领域特定的知识。
dialog state和dialog query的示例如下图所示，这些领域特定的查询和提问可以帮助模型理解一些领域特定的特征。
在这里插入图片描述
同样使用LSTM对prompt进行动态编码。

3 Task-oriented Prompt

使用一段随机初始化的prompt用于捕捉任务特定的信息：
在这里插入图片描述

4 Prompt-based Encoder-Decoder Architecture

DIP和DSP所得到的表示拼接，作为整个encoder的prompt：
在这里插入图片描述
TOP模块所得到的表示作为decoder prompt：

作者采用的是prefix-tuning的方式，即将prompt的表示拼接到transformer每一层的K V当中，以更加直接和深入地影响transformer的各层表示，提高模型的表达能力。
Encoder部分：
在这里插入图片描述

Decoder部分：
在这里插入图片描述

In this case, the effect of prompts will be propagated upward to all Transformer activation layers, not just the embedding layer, and rightward to subsequent tokens, which can directly modify representations deeper in the network and go one step further in increasing the expressivity of the model…

在这里插入图片描述
prompt长度本文设置为200。

实验

可以看到本文提出的ADPL框架是最有效的。原始的prefix-tuning方法并没有在及模型的基础上取得提高，作者认为这是因为prefix-tuning并未对prompt的内容进行额外限制，从而会迁移太多源领域的知识，而忽略目标领域的知识。
在这里插入图片描述
三种prompt均起到了一定效果，在跨领域任务中，最有效果的prompt为DIP。

球球作者开源叭