目录
Recurrent Neural Network 循环神经网络
RNN的训练:The vanishing/exploding gradient problem 梯度消失/爆炸问题
Recurrent Neural Network 循环神经网络
场景:计算单词序列的概率
N-grams
思路:根据前个单词预测第
个单词的概率,但这会占用大量内存
RNN 循环神经网络
每层使用相同的神经网络,训练同一个参数矩阵,通过上层结果和新的输入变量共同预测结果
记词向量序列为,参数矩阵可分为
三部分,每层预测的概率向量为
,每层神经网络如下
损失函数:使用交叉熵损失函数
RNN的训练:The vanishing/exploding gradient problem 梯度消失/爆炸问题
根据梯度下降,因为权值矩阵在每层都出现,求导时
如果的初始化范数小于或大于1,随着序列变长
增大,
也会迅速缩小或增大,成为梯度消失/梯度爆炸
梯度爆炸解决方案:定义一个梯度阈值,梯度截断方法
梯度消失解决方案:恒等初始化结合ReLu线性整流函数
Bidirectional RNNs 双向循环神经网络
应用场景:情绪分析&意见挖掘,此时不需要考虑文本中单词序列的方向
进一步还可扩展为Deep Bidirectional RNNs