（TF）RNN及LSTM网络认识

（TF）RNN及LSTM网络认识

首先是对RNN 的认识。RNN与CNN的不同之处，CNN用于图像处理，图像是独立存在的，前后之间没有联系，没有联系就是，你前面输入一张图片是猫，后面一张是狗，如果你顺序反过来，猫就不是猫了吗？但是RNN 不一样这也就是RNN 与CNN 的不同之处，也就是所谓的时间的问题，因此RNN 更适合处理前后有联系的模型，也就是自然语言的处理。

RNN的定义

定义的话，我个人觉得就是，y(i) = y(i-1)*h + g(xi)*c,当前的目标值取决于前一层响应乘上系数和当前输入的所得响应乘上一个系数。所以和前面有关系。当然原理更复杂，我只是简单的说一下。

RNN存在的问题

RNN当前的结果与前面所有的计算都有关系吧，这样计算复杂度好高啊，更新优化参数的时候，反向求导会更复杂。总结一句就是计算太复杂，训练难度太大。

LSTM（long short-term memory ）长短记忆网络#

因为RNN 网络确实有问题，因此可长可短的有记忆的选择的网络应运而生。控制参数C和H是LSTM网络更新的关键。
C：大当家。控制参数。决定什么样的信息保留，什么信息删除不要。C的值估计是随机初始化的，没看代码。
门函数，sigmod函数等，（先写到这里，周末补充）