seq2seq框架中技术要点汇总

1. seq2seq中的attention
2. Copy Mechanism：解决OOV词Copy Mechanism：解决OOV词
   来自于文章《Incorporating Copying Mechanism in Sequence-to-Sequence Learning》发表在ACL2016
3. Sequential Copying Networks
   发表在AAAI2018年的《Sequential Copying Networks》
   copy一步到位，拒绝多次copy
   比较好的解析：http://dy.163.com/v2/article/detail/DE0S7IKE0511D89H.html
4. Scheduled Sampling
   来自文章NIPS2015《Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks》
   目的是为了解决exposure bias
5. Self-critical sequence training
   CVPR2017《Self-critical Sequence Training for Image Captioning》
   http://www.zhuanzhi.ai/document/f41da7c8c2cbc05ba758f147257e0f87
6. seq2seq中的beam search算法
   为了减少计算复杂度，只在test阶段使用，在train阶段也是可以使用的为了减少计算复杂度，只在test阶段使用，在train阶段也是可以使用的
   比较好的解释
   https://zhuanlan.zhihu.com/p/36029811?group_id=972420376412762112
   https://zhuanlan.zhihu.com/p/28048246
7. an intra-temporal attention function
   seq2seq的一个问题就是生成重复，input中的某部分反复参与到解码中，应用这个技术可以减少重复
8. Coverage 机制
   为了解决生成连续重复的词的问题。首先考虑把之前的 attention weight at′at′ 都加起来，得到 coverage vector
   这样做的出发点是，让 attention 决定 tt 时刻该去关注哪一点的时候，要先知道之前已经对哪些点关注过了，就有可能解决重复关注的问题。