闲聊式对话系统

chitbot 直接使用数据训练一个端对端模型

1、lstm模型

2、HRED 模型 用来处理端对端模型里面的多轮对话，可以将context内容包括进去，然后也将utterance进行表示

3、attention 模型  pointer network 

chanllenges:

a、回复单一的问题

      最大相互信息熵损失函数、对抗网络、引入变分结构（VHRED模型）、利用检索式模型来进行替代

b、回复的前后一致性  ---  可能的原因是 训练数据的问题，庞大多样性、噪声很大    

       对于有些问题可能是多对一、一对多； 因为训练数据可能来源于不同的人，不同的人会给予不同的回答

    对于同一个问题的不同表述，可能给予的答案是不一样的

persona-based response generation system ----- 对person来进行建模

c、word repetitions

    机器翻译 --- 在source sentence 和 target sentence中，source sentence中的每个词或者phase都是在target句子中有对应的

    现在的生成模型都是在神经机器翻译模型上进行改进的，但是在 dialogue中的一些词，可能question中的词在answer中，有一个词或者多个词，再或者没有词对应。

    使用 attention或者 self-attention 来进行限制

d、lack of grounding