笔记:NLP模型发展历史
2014年
1、CNN
- wordEmbedding
输入d*n 每个字符长度d,n个字符 - 卷积层(特征抽取层)
dk大小的移动窗口,从dn往右移动,移动窗口用于捕获特征值得到特征向量。其中k-gram片段,决定捕获多远距离的特征 - Pooling (降维)、
得到最终特征 - 全连接神经网络(分类)
要求:固定长度的输入层,才能train.
2014-2018年
2、RNN
无实际落地应用支撑:
1、并行计算能力差(序列依赖结果)
2、可接纳不定长输入的有钱向后进行信息线性传导的网络结构 H(T)=X(T)+H(T-1)
3、GRU
解决RNN反向传播路径太长导致的梯度消失/梯度爆炸问题(求到的链式法则)
4、LSTM
捕获长距离特征
5、attention
叠加网络把层作深
6、Encoder-Decoder框架
7、Transomformer
2017年,其实是:
- Bert的Encoder
- self-attenion的叠加
- 效果最好的特诊个抽取器
2018年
8、Bert
本质:是新的word2Vec。相较于word2vec,Bert解决了OOV(词袋中未出现的词)和多义词的问题。bert可以拿到字级别和句子级别的向量。在其之上建立自己的模型即可
Q:可以获取到单词之间的相对位置的方法??
例“你欠我100万,我欠你100万”
- 1、BERT 输入端Position位置函数进行位置编码,
输入embedding=positionembedding+ wordembedding - 2、self-attention长距离依赖特征
当前单词和句子中任意单词关系一步到位 - 3、RNN
Hidden Node向前传 4、CNN增加网络深度