Cluster-based Beam Search for Pointer-Generator Chatbot Grounded by Knowledge

最新推荐文章于 2022-11-28 20:42:53 发布

funNLPer

最新推荐文章于 2022-11-28 20:42:53 发布

阅读量215

点赞数

分类专栏：论文阅读

本文链接：https://blog.csdn.net/orangerfun/article/details/107658754

版权

论文阅读专栏收录该内容

8 篇文章 1 订阅

订阅专栏

paper link: Cluster-based Beam Search for Pointer-Generator Chatbot Grounded by Knowledge

1. intro

本文研究的问题如下：给定一段对话历史和一些与对话相关的文章片段，目标是生成有意义的、与给定背景信息密切相关的答复，本文重点关注的是以下三个方面：

对话历史建模
如何充分使用非结构化的外部知识
生成回复的多样性和相关性

本文的主要贡献在于：

提出了一个泛化的指针生成机制(pointer generator)，使得同时从对话历史和外部知识中复制实体。
提出了一种聚类Beam Search算法，可以在解码的时候动态地将相似语义地序列分组归类，避免生成通用回复。

总体模型架构如下图：
在这里插入图片描述

图1. 模型结构

2. Data Cleaning and Fact Retrieval

论文中认为片段的每一句话是一个事实(fact)，因为文章很多，所以作者使用了tfidf来选取与对话最相关的前topk个事实
$\operatorname{sim}(H, F)=\sum_{w \in H} i d f(w) \times \operatorname{count}(w \operatorname{in} F)$

其中， $H$ 是对话历史， $F$ 是事实句子（来自事实文章中）， $w$ 是对话中的一个词， $i d f (w)$ 是倒文档频率（此处是指 $w$ 在所有对话中出现的频率的倒数）上式的含义是在对话中出现频率低，而在文档某句话中出现次数多的词，决定了对话与该事实的相关度。最后将得到的前topk个事实按照初始出现的顺序拼接到一起。

3. encoder

对于对话历史和背景事实，模型使用两个独立的单层双向LSTM网络进行编码，得到两个隐层状态：
$\begin{array}{l} H^{H}=\left(h_{1}^{H}, h_{2}^{H}, \ldots, h_{L}^{H}\right) \\ \\ H^{F}=\left(h_{1}^{F}, h_{2}^{F}, \ldots, h_{T}^{F}\right) \end{array}$

然后将对话历史的第一个和最后一个隐藏状态连接，然后线性投影结果作为decoder的初始状态

3. decoder

Decoder主要包含三个模块：

分别针对于对话历史和背景事实的注意力机制
生成回复的模式预测
词生成

3.1 Attention Mechanism

在解码的每个时刻 $t$ ，利用解码器的隐层状态 $h_t^{R}$ 分别对 $H^H$ 和 $H^F$ 计算attention：
$\begin{array}{l} e_{t i}^{H}=v_{H}^{T} \cdot \tanh \left(W_{h}^{H} \cdot h_{i}^{H}+W_{r}^{H} \cdot h_{t}^{R}+b^{H}\right) \\ \\ \alpha_{t i}^{H}=\operatorname{Softmax}\left(e_{t i}^{H}\right) \\ \\ h_{t}^{H *}=\sum_{i=1}^{L} \alpha_{t i}^{H} h_{i}^{H} \end{array}$

其中 $W_h^H$ , $W_r^H$ , $b^H$ , $v_H^T$ 是可训练参数

$\begin{aligned} e_{t j}^{F} &=v_{H}^{F} \cdot \tanh \left(W_{h}^{F} \cdot h_{j}^{F}+W_{r}^{F} \cdot h_{t}^{R}+b^{F}\right) \\ \\ \alpha_{t j}^{F} &=\operatorname{Softmax}\left(e_{t j}^{F}\right) \\ h_{t}^{F *} &=\sum_{j=1}^{T} \alpha_{t j}^{F} h_{j}^{F} \end{aligned}$

3.2 Mode Prediction

本模块主要是借鉴自pointer generator (See, Liu, and Manning 2017)，解决生成过程中的OOV问题，它有两种模式：（1）生成一个词；（2）复制一个词。而在该模型中，对指针生成器进行了扩展，转换成三种模式：（1）生成一个词；（2）从对话历史中复制一个词；（3）从事实中复制一个词。

在解码的每个时间步 $t$ ,使用softmax多分类器来得到每次模式的概率：
$\operatorname{Pr}(\bmod e=m \mid t, H, F)=\operatorname{softmax}\left(F F\left(h_{t}^{F *} \oplus h_{t}^{H *} \oplus h_{t}^{R} \oplus x_{t}\right)\right)$

其中 $x_t$ 表示解码器在时间步 $t$ 的输入向量

3.3 Word prediction

最终，模型生成一个词的概率等于三种模式生成的概率相加：
$\operatorname{Pr}(w \mid t, H, F)=\sum_{m=1}^{3} \operatorname{Pr}(m \mid t, H, F) \cdot \operatorname{Pr}_{m}(w \mid t, H, F)$

对于 Seq2Seq生成一个词：
$P_{r m}(w \mid t, H, F)=\operatorname{softmax}\left(W_{g} h_{t}^{R}\right)$

对于从对话历史或者背景事实中复制一个词：
$P_{r_{m}}(w \mid t, H, F)=\alpha_{t i}^{H} \text { or } \alpha_{t i}^{F}$

4. Cluster-based Beam Search

传统的 beam search 有一个固定大小的候选集上限k，而这 k 个最有可能的候选项有很多是语义相似的，例如i donot known, i donnot see，i donot understand，虽然它们的概率都很高，但是对于生成的多样性来讲没有意义。因此，作者提出了一种新的基于聚类的 Beam Search 算法：

主要过程如下：