学习笔记TF036:实现Bidirectional LSTM Classifier

双向循环神经网络(Bidirectional Recurrent Neural Networks,Bi-RNN)，Schuster、Paliwal，1997年首次提出，和LSTM同年。Bi-RNN，增加RNN可利用信息。普通MLP，数据长度有限制。RNN，可以处理不固定长度时序数据，无法利用历史输入未来信息。Bi-RNN，同时使用时序数据输入历史及未来数据，时序相反两个循环神经网络连接同一输出，输出层可以同时获取历史未来信息。

Language Modeling，不适合Bi-RNN，目标是通过前文预测下一单词，不能将下文信息传给模型。分类问题，手写文字识别、机器翻译、蛋白结构预测，Bi-RNN提升模型效果。百度语音识别，通过Bi-RNN综合上下文语境，提升模型准确率。

Bi-RNN网络结构核心，普通单向RNN拆成两个方向，随时序正向，逆时序反赂。当前时间节点输出，同时利用正向、反向两个方向信息。两个不同方向RNN不共用state，正向RNN输出state只传给正向RNN，反向RNN输出state只传给反向RNN，正反向RNN没有直接连接。每个时间节点输入，分别传给正反向RNN，根据各自状态产生输出，两份输出一起连接到Bi-RNN输出节点，共同合成最终输出。对当前时间节点输出贡献(或loss)，在训练中计算出来，参数根据梯度优化到合适值。

Bi-RNN训练，正反向RNN没有交集，分别展开普通前馈网络。BPTT(back-propagation through time)算法训练，无法同时更新状态、输出。正向state在t=1时未知，反向state在t=T时未知，state在正反向开始处未知，需人工设置。正向状态导数在t=T时未知，反向状态导数在t=1时未知，state导数在正反向结晶尾处未知，需设0代表参数更新不重要。

开始训练，第一步，输入数据forward pass操作，inference操作，先沿1->T方向计算正向RNN state，再沿T->1方向计算反向RNN state，获得输出output。第二步，backward pass操作，目标函数求导操作，先求导输出output，先沿T->1方向计算正向RNN state导数，再沿1->T方向计算反向RNN state导数。第三步，根据求得梯度值更新模型参数，完成训练。

Bi-RNN每个RNN单元，可以是传统RNN，可以是LSTM或GRU单元。可以在一层Bi-RNN上再叠加一层Bi-RNN，上层Bi-RNN输出作下层Bi-RNN输入，可以进一步抽象提炼特征。分类任务，Bi-RNN输出序列连接全连接层，或连接全局平均池化Global Average