本文介绍了RNN网络的基础，包括经典RNN结构、N VS 1和1 VS N的变体，并详细讨论了LSTM长短期记忆网络解决长程依赖问题的原理。最后，文章展示了如何在Tensorflow框架下利用LSTM实现手写字识别。
一、RNN网络的基本原理
RNN，即循环神经网络，是一种对序列型数据进行建模的深度学习模型。
RNN的来源就是为了刻画一个序列当前的输出与之前的信息共同影响后面节点的输出情况。
RNN隐藏点之间的节点是相连的，隐藏层的输入不仅仅包括输入层的输出，还包括上一时刻隐藏层的输出。
二、RNN的几种结构
1.经典RNN的结构
如图所示，在经典的RNN结构中，输入序列是 x 1 x_{1} x1, x 2 x_{2} x2, … x n x_{n} xn，对应的隐状态为 h 1 h_{1} h1, h 2 h_{2} h2, … h n h_{n} hn， 输出序列为 y 1 y_{1} y1, y 2 y_{2} y2,… y n y_{n} yn。
主要特征：输入和输出序列必须是等长的。
运算过程为: h t = f ( U x t + W h t − 1 + b ) h_{t}=f(Ux_{t}+Wh_{t-1}+b) ht=f(Uxt+
最低0.47元/天 解锁文章
2489
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
