LSTM简介
1、RNN的梯度消失问题
在过去的时间里我们学习了RNN循环神经网络,其结构示意图是这样的:
其存在的最大问题是,当w1、w2、w3这些值小于0时,如果一句话够长,那么其在神经网络进行反向传播与前向传播时,存在梯度消失的问题。
0.925=0.07,如果一句话有20到30个字,那么第一个字的隐含层输出传递到最后,将会变为原来的0.07倍,相比于最后一个字的影响,大大降低。
墨尘的神经网络7--LSTM 长短时记忆网络模型代码复现及要点记录
最新推荐文章于 2024-05-26 23:00:11 发布