[DM]Sequicity: Simplifying Task-oriented Dialogue Systems with Single Sequence-to-Sequence Architect

总述：

这篇文章的主要特色在于生成dialogue believes，也就是作者所谓的belief span，在对话管理模块中，一般都需要首先对一句话的belief进行分类（就是一些slot-value对，一般来说分为两种类型，一种informable类型的，要告诉用户某一些具体信息，一种requestable类型的，需要记住用户需要什么。对于某一个informable类型比如说餐馆风味，有很多类（中国菜，日本菜，法国菜等等）），然后决定是哪一类，而作者的idea就是利用seq-to-seq模型，根据上一句话的belief span，上一句话的回复以及当前这句话，可以decoder当前这句话的belief span。那么利用生成做belief有啥好处呢，这样减小了模型复杂度，并且一如既往的，效果要比之前的工作好。而且因为是生成的belief span，所以处理OOV问题也有很好的进步。

主要工作：

1.核心idea就是设计了一个可以生成的belief span。

2.在这个idea的基础上，结合copynet设计了一个两阶段copy的框架TSCP

3.融合了外部知识库，（玄学融合）在最后生成的结果hideen上，cat一层kb的embedding，然后过一层GRU。。

4.reinforcement learning，这个倒是挺有意思的，就是把对话decoder的时候看成了一个强化学习的应用场景。生成下一个词看做一个action，然后因为需要使得模型多生成《address》这种placeholder，那就需要在模型生成placehoder的时候加大reward的力度。事实上如果生成一个palcehoder，reward是1，否则reward是-0.1.

模型：

1.首先看下他的seq-to-seq部分，感觉和transformer的attention不太一样。

W1，W2,是参数h(x)是encoder的hideen，h(y)是decoder的hidden，总而言之还是看下当前这个词j和encoder中哪个词的关系，这个就存在Uij里面了，然后过一层softmax再和h(x)相乘就把关联度高的x取了出来，最后和h(y)cat一下。

2.主要模型：

思路其实很简单：

第一步：用上一句话的BS（belief span），上一次的回复，当前这句话过一个encoder，然后生成当前这句话的BS。

第二步：结合上一句话的BS（belief span），上一次的回复，当前这句话过一个encoder，实际上这些东西都在第一步decoder的hidden中，所以直接用第一步得到的hidden，然后这个hidden在第一步得到的BS的基础上生成当前这一次的答案。

Bt代表：这一次的BS， Rt代表这一次的回答。Kt表示知识库。

3.两段copynet

分为两步：首先从对话历史中copy出当前这一句的BS，然后从这一句生成的BS  copy到这一句要生成的话中。

第一步：

第二步：

一句话总结：

  本文结合seq-to-seq结构，将传统的belief tracker的分类问题做成了生成问题，增加了模型对于异常情况如OOV的兼容性，并且结合了copynet机制和强化学习，极大的提升了生成的效果。