关于RNN

Deep Learning中的原理往往比较难学。因为Deep Learning是建立在高等代数和微积分之上的，而高等代数的特点是什么？元素非常非常多。一般来讲，当涉及到元素（因子）特别特别多的运算时，人们一般喜欢把他交给计算机。但是，机器学习的设计者是必须清楚的了解到，一个系统到底是如何一步步寻找到全局最优值的，而这一个过程，必将伴随着亲力亲为的复杂的运算，不过，这是掌握机器学习非常重要的一步。

Deep Learning不太好学，RNN又在Deep Learning里面属于比较难学的那一种。

这个神经网络跟我们以前学的MLP和CNN不太一样。哪里不太一样，以前我们学的MLP和CNN都是把输入同时放到待训练的系统里面，但是RNN不是。RNN的输入是在不同的时刻一个一个放进去的。也就是说，这个系统中，时间是非常重要的一个变量，但是在CNN或者MLP里面，时间不重要。

我们还是拿这张图片作为例子，看到这个图片，我们要先去想。任何一个我们要去训练的神经网络，我们要去训练什么？我们要训练的是输入和输出之间的参数。具体到这个图里面，我们希望得到合理的U，V，W，这三个东西是我们希望找到的。

$x^(t-1)$：在时间$t=t-1$时的输入，类似地，$x^(t)$是时间$t=t$时的输入。

$h^(t-1)

//日后更新