笔记：NLP模型发展历史

2014年

1、CNN

1. wordEmbedding
   输入d*n 每个字符长度d，n个字符
2. 卷积层（特征抽取层）
   dk大小的移动窗口，从dn往右移动，移动窗口用于捕获特征值得到特征向量。其中k-gram片段，决定捕获多远距离的特征
3. Pooling （降维）、
   得到最终特征
4. 全连接神经网络（分类）
   要求：固定长度的输入层，才能train.

2014-2018年

2、RNN

无实际落地应用支撑：

1、并行计算能力差（序列依赖结果）
2、可接纳不定长输入的有钱向后进行信息线性传导的网络结构 H(T)=X(T)+H(T-1)

3、GRU

解决RNN反向传播路径太长导致的梯度消失/梯度爆炸问题（求到的链式法则）

4、LSTM

捕获长距离特征

5、attention

叠加网络把层作深

6、Encoder-Decoder框架

7、Transomformer

2017年，其实是：

1. Bert的Encoder
2. self-attenion的叠加
3. 效果最好的特诊个抽取器

2018年

8、Bert

本质：是新的word2Vec。相较于word2vec，Bert解决了OOV（词袋中未出现的词）和多义词的问题。bert可以拿到字级别和句子级别的向量。在其之上建立自己的模型即可

Q:可以获取到单词之间的相对位置的方法？？
例“你欠我100万，我欠你100万”

• 1、BERT 输入端Position位置函数进行位置编码，
  输入embedding=positionembedding+ wordembedding
• 2、self-attention长距离依赖特征
  当前单词和句子中任意单词关系一步到位
• 3、RNN
  Hidden Node向前传 4、CNN增加网络深度

2019年

9、xlnet