上篇文章提到了RNN循环神经网络在处理文本数据时具有优秀的表现,然后RNN面对长距离时存在梯度爆炸、梯度消失的问题。梯度爆炸通常我们可以采用梯度截断的方法来缓解,然而梯度消失问题就需要我们接下来说的RNN变体——LSTM来解决了。
LSTM( Long Short Term Memory)长短期记忆网络,随着句子长度的不断增长,LSTM发挥了比普通RNN更优良的性能。下面将介绍LSTM的原理及paddle框架实现的代码。
LSTM原理
这是LSTM的内部原理图,初学者看上去可能会觉得很抽象,我们把它具体分为几个模块逐一解决。
遗忘门
其计算公式为:
将上一个LSTM单元的输出和当前输入乘以权重Wf加上偏置bf后经过一个sigmoid激活函数。这里可以理解为一个橡皮擦,把不需要记忆的内容过滤掉。遗忘门用于和中间状态C相乘,过滤掉不重要的内容。
输入门
其计算公式为:
将上一个LSTM单元的输出和当前输入乘以权重Wf加上偏置bf后经过一个sigmoid激活函数与上一个LSTM单元的输出和当前输入乘以权重Wf加上偏置bf后经过一个tanh激活函数相乘。这里可以理解为一个铅笔,在细胞状态Ct上写需要记忆的内容。tanh获得了暂时的细胞状态C,然后使用输入门控制保留信息的多少。
更新细胞状态
其计算公式为:
将遗忘门输出内容乘以上一层细胞状态加上输入门的内容。Ct也可以理解成一个日记本,记录时刻的信息。
输出门
其计算公式为:
这一层LSTM输出为上一个LSTM单元的输出和当前输入乘以权重Wf加上偏置bf后经过一个sigmoid激活函数与当前细胞状态Ct经过tanh激活函数后相乘。控制输出保留中间状态C的多少。
1.关于为什么要选择不同的激活函数?
sigmoid激活函数用于门控机制上决定了是否通过,相当于0表示忘记,1表示记忆。
tanh激活函数用在了状态和输出上,是对数据的处理。
2.LSTM如何缓解RNN的梯度消失或梯度爆炸?
因为每个LSTM都有门控机制,中间记忆细胞通过输入门和遗忘门之后进行累加,而不像RNN那样的累乘,从而缓解了RNN的梯度消失或梯度爆炸。