2020-08-29 读LSTM原理有感

LSTM原理介绍:https://zhuanlan.zhihu.com/p/32085405

       复杂数学公式为什么让人难以理解？为什么让人抓不住，如何才能更好的理解数学公式，甚至创造出属于自己的数学公式？这些也是我不断探索的内容，今天看了一篇关于LSTM模型的原理介绍，初次看网络模型图感觉很复杂，让人不知道从哪里入手去理解，模型中的操作比较多，让人眼花缭乱，也不清楚为什么要这么写公式，有什么意义。但是从LSTM网络原理的学习中也总结到了一些通用性的理解数学公式的方法，意在当我们拿到一个陌生公式的时候，可以快速进入到公式的理解当中，相信这对于开篇中提到的“甚至创造自己的数学公式”也有作用，说到这里，看一张LSTM模型内部原理图：

             

       这里我想要分享的模式是分层 的看待公式，不要一股脑的看全部公式，要讲究层序，比如说从图中下边看，很明显，由ht-1和xt产生了4个量，将原始输入xt和ht-1拼接起来，再乘以W矩阵，通过激活函数激活，虽然原始输出被改变，但是这样做是一个特征提取的概念和含义，将原始数据映射到别的坐标系(空间)可以更好的反应原始数据xt的特征，那么xt和ht-1就可以看作公式的一个层次，由这两个数值得到的z,zi等就是下一个层次。