NLP---Seq2Seq

seq2seq

应用场景：

• 机器翻译：Encoder-Decoder 的最经典应用，事实上这一结构就是在机器翻译领域最先提出的
• 文本摘要：输入的是一段文本序列，输出的是这段文本序列的摘要序列
• 阅读理解：将输入的文章和问题分别编码，再对其进行解码得到问题的答案
• 语音识别：输入的是语音信号序列，输出的是文本序列
• 语音合成：输入的是文本序列，输出的是语音信号序列

transformer模型的发展过程

Seq2Seq 模型是RNN最重要的一个变种：N vs M（输入与输出序列长度不同）
Transformer 使用的是encoder-decoder结构和Attention机制。
Bert基于ransformer，将双向Transformer用于语言模型，双向训练的语言模型对语境的理解会比单向的语言模型更深刻。

参考文献：
1、Transformer 与BERT模型https://blog.csdn.net/qq_36047533/article/details/88752608
2、彻底搞懂BERThttps://www.cnblogs.com/rucwxb/p/10277217.html
3、BERT大火却不懂Transformer？读这一篇就够了https://baijiahao.baidu.com/s?id=1622064575970777188&wfr=spider&for=pc
4、细讲 | Attention Is All You Need
https://mp.weixin.qq.com/s/RLxWevVWHXgX-UcoxDS70w
5、Deep contextualized word representations（ELMO词向量理解）
http://ddrv.cn/a/143799
6、图解BERT（NLP中的迁移学习）
https://www.cnblogs.com/d0main/p/10165671.html
7、attention机制详解
https://terrifyzhao.github.io/2019/01/04/Attention%E6%A8%A1%E5%9E%8B%E8%AF%A6%E8%A7%A3.html
8、Bert https://www.jianshu.com/p/d110d0c13063
9、