PTB递归神经网络阅读笔记

PTB递归神经网络阅读笔记

R ECURRENT N EURAL N ETWORK R EGULARIZATION

在神经网络模型中，一般分为非时序模型和时序模型，对于非时序模型而言，其应用场景有单一手写字识别、图像物体分类等等，最基本的模型是前馈式神经网络（FNN）；而对于时序模型而言，其应用场景十分广泛，如连续手写字识别、语音识别、语义理解、机器翻译、看图说话、自动生成、数据压缩等等，最基础的模型是循环神经网络（RNN）。今天我们着重谈论的是RNN的基础概念。

RNN最初也是受人类的生物神经模型启发而来，因为所有的生物神经系统都是一个动态的系统，神经元与神经元之间不是孤立的而是互相产生动态影响的，这就促发了RNN的诞生。RNN相比普通的FNN的主要区别有：

• FNN的神经元是静态的，而RNN是一个动态的网络，其神经元的状态时刻处于动态变化之中
  如果说FNN可以进行任意的非线性映射，那么RNN则可以拟合任意的动态系统
• FNN的训练一般采用后向传播（BP）算法，而RNN一般采用随时间的后向传播（BPTT）算法>
• FNN在拟合非线性系统上取得了很大的成功，但是RNN在处理长时间时序问题上还存在着很大不足

3 通过LSTM单元来调整RNNs
  所有状态的大小都是n尺寸的。让$h_t^l \in R^n$是在$l$ 层时间步为$t$的一个隐藏状态。此外，让$T_{n,m}:R^n \to R^m$表示映射转变（$Wx+b$对于某些$W$和$b$?什么意思）。$\bigodot$表示逐元相乘操作， h0