y18733648428的博客

原创 【23-24 秋学期】NNDL 作业11 LSTM

LSTM（长短期记忆网络）是简单循环神经网络的一个变体，可以有效地解决简单循环网络的梯度爆炸或消失问题。LSTM相较于简单循环神经网络，多出了三个控制门：输入门（input gate）、遗忘门（forget gate）和输出门（output gate）。通过观察结果可以看到，当参数与激活函数相同时，结果一致。LSTM网络得设计使其能够有效地缓解梯度消失问题。中参数的梯度， 并分析其避免梯度消失的效果。可以适当改动例题，增加该输入。然后，对参数梯度进行推导。3. 使用nn.LSTM实现。