【NLP251】NLP ＲＮＮ 系列网络

NLP251 系列主要记录从NLP基础网络结构到知识图谱的学习

１.原理及网络结构

１.１ＲＮＮ 

在Yoshua Bengio论文中( http://proceedings.mlr.press/v28/pascanu13.pdf )证明了梯度求导的一部分环节是一个指数模型，当n<1时,就会出现“梯度消失"问题,而当η> 1时,“梯度爆炸”也就产生了。

１.２ 双向－ＲＮＮ

两个方向ＲＮＮ的区别在于输入数据的不同，反向ＲＮＮ数据是对正向ＲＮＮ数据的反转

１.３深度双向－ＲＮＮ

 

１.４ＬＳＴＭ

LSTM（长短期记忆网络）相较于RNN（循环神经网络）的主要优势如下：

1. 解决长期依赖问题

• RNN在处理长序列数据时，容易出现梯度消失或梯度爆炸的问题，导致难以捕捉到序列中相隔较远的依赖关系。

• LSTM通过引入“记忆单元”（Cell State）和门控机制（遗忘门、输入门、输出门），能够有效地学习和保持长期依赖关系。遗忘门可以有选择性地丢弃不再重要的信息，输入门可以添加新的重要信息，输出门则控制信息的输出，从而确保信息在长序列中能够稳定传递。

2. 缓解梯度消失问题

• RNN在反向传播时，梯度可能会随着序列长度增加而迅速衰减或增大，导致训练困难。

• LSTM通过门控机制，使得梯度可以直接通过记忆单元流动，减少了梯度在传播过程中的衰减，从而缓解了梯度消失问题。

LSTM 的关键在于其所特有的“细胞状态”，这一状态犹如一条贯穿始终的传送带。它在整个链条上顺畅运行 ，只有一些少量的线性交互。信息在 上