论文阅读 Question Answering

QA的研究相当多，只对提升回答多样性做一些调研，有新的文章或者方法欢迎私信论文讨论

论文

---

Generating High-Quality and Informative Conversation Responses with Sequence-to-Sequence Models

原文链接
Louis Shao, Stephan Gouws, Google Brain 2017
基础模型还是seq2seq+attention机制，创新之处在于提出了glimpse model和在beam search时用随机抽样+rerank。

• glimpse model
  首先作者是想要加入target-side attention，简单来说就是将输入也考虑进attention计算中，即self-attention的思想。但是很尴尬得发现超内存了，于是提出一种glimpse-model，原理就是既然一次无法decode太多，那就一次只decode K个，然后将这K个输出考虑进attention，再decode接下来的K个值。简单来说，第一次输出y1，第二次输入为[x;y1]，生成y2 …..
  
  需要改进的地方在于后几次decode的时候，由于是直接将encoder的hidden state输入进decoder，所以在计算效率和效果上肯定不如从当前开始的位置对应的input处开始。