A Persona-Based Neural Conversation Model论文学习零散记录

A Persona-Based Neural Conversation Model

这篇文章用来解决conversation model中的speaker consistency的问题。比方说，问chatbot“where does jone live?”& “where does sam live?”chatbot可能因为u.s.出现频率最高，而对所有这类问题的回答都是U.S. 而不去考虑人物的身份。
作者提出了两种模型,Speaker Model 和 Speaker-Addressee Model。

Speaker Model比较简单。
选取LSTM为Seq2Seq模型的基本单元，LSTM主要的公式如下：
$\begin{bmatrix} i_{t} \ f_{t}\ o_{t}\ l_{t}\end{bmatrix}= \begin{bmatrix} \delta \\ \delta\\ \delta\\ tanh\end{bmatrix}W\cdot \begin{bmatrix}h_{t-1}\\ e_{t}^{s}\end{bmatrix}$
作者给增加了一个向量，可以看做是把$e_{t}^{s}$变成了$[e_{t}^{s},v_{i}]$,如下所示：
$\begin{bmatrix} i_{t} \ f_{t}\ o_{t}\ l_{t}\end{bmatrix}= \begin{bmatrix} \delta \\ \delta\\ \delta\\ tanh\end{bmatrix}W\cdot \begin{bmatrix}h_{t-1}\\ e_{t}^{s}\\ v_{i}\end{bmatrix}$
其中，$v_{i}$是user-level的representation，狭义上可当做是Speaker的向量，作者在Encoder的每一步都引入这样一个代表说话者身份的向量，来达到speaker consistency。

Speaker-Addressee Model
这个模型不单单考虑当前说话者的身份，考虑到了说话的双方的身份即Speaker和Addressee。
$\begin{bmatrix} i_{t} \ f_{t}\ o_{t}\ l_{t}\end{bmatrix}= \begin{bmatrix} \delta \\ \delta\\ \delta\\ tanh\end{bmatrix}W\cdot \begin{bmatrix}h_{t-1}\\ e_{t}^{s}\\ V_{i,j}\end{bmatrix}$
其中
$V_{i,j}=tanh(W_{1}\cdot v_{i}+W_{2}\cdot v_{2})$
$v_{i},v_{2}$代表说话的双方。

文章的Decoding and Reranking这一部分其实描述的就是作者另一篇文章中提到的MMI-bidi方法（我的另一篇博客写了作者这一篇文章的学习笔记）。

作者使用的数据集是
Twitter Persona Dataset
Twitter Sordoni Dataset
Television Series Transcripts
三个

实验部分，我不太感兴趣。就不写了。
本文完