[机器学习]RNN网络

RNN的基本思想是共享变量以及通过时间序列将特征值进行输入，从而实现“记忆功能”，是全连接网络的一种高阶的变体。可以想象，通过这两种思想演变出来的RNN网络类型可以是无穷多的（尤其是因为对全连接网络做了高阶的扩展功能）。蕴藏了无穷的可能性，现在已经有人证明，RNN网络通过适当的输入、适当的网络结构，可以代表任何图灵机能够计算的函数。从这个角度来说，虽然其实现的方式和原理和当前的计算机的计算编程方式思维不同，但其所能够达到的边界是远大于当前的基于逻辑的编程运算的。简单介绍其中的3种结构。

• ①第一种是最最常见的，每次将上一次的隐藏层作为下一次隐藏层输入的网络结构（每个隐藏层接收一个timestep的x输入，以及对应的上一次的状态），每次隐藏层的状态会传递到输出层，进行进一步的全连接网络的分类任务。即每次有一个输出和一个传递到下一层的状态。
  这种网络的应用场景是最最广泛的，可以模拟任何当前电脑中的“确定计算”即函数计算（这里的函数不是指一个函数，而是值一撮函数的综合）。
• ②将输出层的输出作为下一个时间点的隐藏层的输入进行：这种情况和上面相比，会多进行一次ax+b操作（目前输出层都是输出的log概率，最终的softmax会放到计算loss函数的时候进行，即不一定每一层都需要有激活函数了）。虽然只是进行了一次线性的变换，但其实如
  果这次变换的维度没有扩展很多的话（节点不多的话），会导致信息的丢失，所以其应用的领域不如第一种结构。
• ③只取最后一个值作为输出值的情况（前面的值都丢弃），这种一般是做一些比如总结任务、翻译任务的时候用的。在输入了一组时间序列之后，将内容放到一个输出的节点里面进行输出，一般来说，这种结构会作为其他网络的输入（类似这里只是做了一个数据的预处理工作），总之，RNN的结构是千变万化的，稍微一想就能想到一种新的结构：比如为什么下一层好上一层的神经元只能有一个连接，如果有多个连接是不是表达会更好等。