NNDL 实验七 循环神经网络（3）LSTM的记忆能力实验

目录

6.3 LSTM的记忆能力实验

6.3.1 模型构建

6.3.1.1 LSTM层

6.3.1.2 模型汇总

6.3.2 模型训练

【思考题1】LSTM与SRN实验结果对比，谈谈看法。（选做）

6.3.3 模型评价

【思考题2】LSTM与SRN在不同长度数据集上的准确度对比，谈谈看法。（选做）

【思考题3】分析LSTM中单元状态和门数值的变化图，并用自己的话解释该图。

全面总结RNN（必做）

---

6.3 LSTM的记忆能力实验

使用LSTM模型重新进行数字求和实验，验证LSTM模型的长程依赖能力。

6.3.1 模型构建

使用第6.1.2.4节中定义Model_RNN4SeqClass模型，并构建 LSTM 算子．

只需要实例化 LSTM ，并传入Model_RNN4SeqClass模型，就可以用 LSTM 进行数字求和实验。

6.3.1.1 LSTM层

• 自定义LSTM算子
• nn.LSTM
• 将自定义LSTM与pytorch内置的LSTM进行对比

6.3.1.2 模型汇总

6.3.2 模型训练

6.3.2.1 训练指定长度的数字预测模型

6.3.2.2 多组训练

6.3.2.3 损失曲线展示

【思考题1】LSTM与SRN实验结果对比，谈谈看法。（选做）

NNDL 实验七 循环神经网络（1）RNN记忆能力实验

6.3.3 模型评价

6.3.3.1 在测试集上进行模型评价

6.3.3.2 模型在不同长度的数据集上的准确率变化图

 

【思考题2】LSTM与SRN在不同长度数据集上的准确度对比，谈谈看法。（选做）

6.3.3.3 LSTM模型门状态和单元状态的变化

【思考题3】分析LSTM中单元状态和门数值的变化图，并用自己的话解释该图。

全面总结RNN（必做）

---

 ref：

NNDL 实验6（上） - HBU_DAVID - 博客园 (cnblogs.com)

NNDL 实验6（下） - HBU_DAVID - 博客园 (cnblogs.com)

8. 循环神经网络 — 动手学深度学习 2.0.0-beta1 documentation (d2l.ai)

9. 现代循环神经网络 — 动手学深度学习 2.0.0-beta1 documentation (d2l.ai)