LSTM网络系列总结

LSTM 网络结构系列总结

简介：在之前的博客中讨论了 4 期不同的 LSTM 网络结构，并给出了相关的代码和网络运行结果，本期将总结这些网络的结构和特性

网络结构分析

上述 4 期的 LSTM 网络结构（详见博主的个人主页）分别总结如下

其中，第一期、第二期的 都是 LSTM 的基础实践部分，网络结构分别为

相较于普通的 LSTM 网络，双层 LSTM 网络的混淆矩阵结果就不太稳定了，从其 训练曲线 和混淆矩阵 结果可见一斑

训练过程可视化结果

可视化混淆矩阵测试结果

P.S. 这种还算过得去的测试结果还是调整参数后搞出来的，不经过调试的结果实再太差

在我使用双层 LSTM 的时候，发现这种网络由于自身不稳定的特性，不太适合于进行时间序列预测，但是我又想进行结合，因此就想到了结合神经网络和双层 LSTM、结合注意力机制和双层 LSTM 就有了第三期的神经网络结合 LSTM 的实践，网络结构如下