与nlp相关的模型概览

word2vec

CBOW

Skip-Gram

Doc2Vec

RNN、LSTM、GRU

循环神经网络RNN

长短期记忆神经网络（Long Short Term Memory，LSTM）

计算量大

门控循环单元（Gated Recurrent Unit，GRU）

相比LSTM, 计算量小一些

机器翻译

Encoder-Decoder

Attention-based Encoder-Decoder

Global Attention

encoder的全部信息

Local Attention

encoder的局部信息

Self Attention

传统的attention只有source（encoder）和target（decoder）之间的关联关系，忽略了source和target端分别的关联关系，Self Attention可以捕捉到词与词之间的关系。

Hierarchical Attention

Bi-Directional Encode layer

Residual Encode layer

总结

Image Caption

Transformer

http://nlp.seas.harvard.edu/2018/04/03/attention.html

Bert(Bidirectional Encoder Representations from Transformers)

分词

基于BiLSTM+CRF的分词系统

文本分类

简单模型

LSTM

双向RNN+残差网络

堆叠循环神经网络

堆叠的目的：
底层rnn捕捉的是基本的信息，如：词的含义或者词性
高层rnn捕捉的是更深层次的信息，如：语义

CNN

lstm-attention