Bidirectional Recurrent Neural Networks

摘要

• a regular recurrent neural network （RNN） $\to$ a bidirectional recurrent neural network (BRNN)
• a preset future frame： 预设的未来架构。
• . Structure and training procedure： 架构和训练程序。
• TIMIT database.

INTRODUCTION

• the parameters of the model 能够由监督训练过程所决定。
• Artificial neural networks： 人工神经网络(ANN)
• Multilayer perceptrons ：MLP
• static data patterns静态数据模式
• 多层前馈网络在处理静态数据上是受限的。
• f the size of the input window in advance：提前设计输入窗口的数量。
• different ANN structures： 调研了不同的ANN结构。
• 改进RNN的版本：
  双向循环神经网络：
  a bidirectional recurrent neural network,

Technical

Consider a sequence of input data vectors:
X 1 T = { x 1 , x 2 , x 3 , ⋯   , x T − 1 , x T } X^{T}_1 = \{x_1,x_2,x_3,\cdots,x_{T-1},x_T\} X1T​={x1​,x2​,x3​,⋯,xT−1​,xT​}
a sequence of corresponding output data vectors
y 1 T = { y 1 , y 2 , y 3 , ⋯   , y T − 1 , y T } y^{T}_1 = \{y_1,y_2,y_3,\cdots,y_{T-1},y_{T}\} y1T​={y1​,y2​,y3​,⋯,yT−1​,yT​}
目的是学习一种规则，给定输入数据去预测输出数据。

• 输出是连续的，问题被定义为回归问题。
• 输出是类别标签的，问题被定义为分类问题。
• Unimodal Regression:单峰回归。或函数最大化。
• 输出数据假设：Gaussian with zero mean and a fixed global
  data-dependent variance、

• the convenient Euclidean distance 欧几里得距离。
• themean-squared-error criterion： 均方误差标准
• • thecross-entropycriterion 交叉熵标准

分类

• amultinomial out putdistribution：多项式输出分布。
• 
• 

• .BidirectionalRecurrentNeuralNetworks

• • BRNN能够被训练：
• • using allavailable input informationin the past and future of a specific time frame
• （使用过去和未来的输入信息）一个特定的时间框架。
  

总结

这篇文章，先不当做重点读，先将代码给其复现完整，全部都将其搞定，慢慢的将其研究透彻。在开始学习这篇文章，开始研读这篇文章都行啦的理由与打算。慢慢的开始将代码给读透彻，研读彻底。