LSTM解决梯度消失问题
为什么rnn循环神经网络会有梯度消失的情况,而lstm可以避免这种情况的发生?
使用梯度下降的方式来更新,如果有很多个这样的数相乘的话,就会使得梯度趋近于0。
梯度消失导致的问题其实是权重w几乎不更新,这样就很难找到一个合适的权重w,去映射输入值与输出值之间的关系。 - LSTM中神经元之间的连接不仅仅有h, 还有信息C, h在神经元之间的传递会经过sigmoid函数处理,但是C不会。所以与C相关的权重W的更新不会因为神经元链过长而产生梯度消失的现象(指的是,遗忘门,信息增益门的权重w)。但是输出门
原创
2021-09-02 16:06:53 ·
720 阅读 ·
0 评论