Tensorflow API中LSTM的参数提取及手工复现模型推理（不使用API复现）

Tensorflow API中LSTM的参数提取及手工复现模型推理（不使用API复现）

对于深度学习任务，使用Tensorflow的API进行训练，推理是目前主流的实现方式。但是训练模型和运用模型进行推理，往往处于不同的工作场景。比如训练模型使用服务器的GPU集群进行加速训练，而通常希望运用模型的场景是在嵌入式设备上，ARM、FPGA、或者像我的需求一样，需要设计ASIC来进行加速推理(反正应用场景就是没有GPU也多半装不上TensorFlow )。
附：本文不提供LSTM模型训练的教程，本文适用于需要从Tensorflow 模型中提取LSTM参数，并且以及需要手动复现的读者。代码由Python编写。提取的模型适用于TensorFlow 1.14及之前的版本。介绍的两种LSTM API手动复现时偏置计算时有细微区别，请读者注意。

LSTM的结构

由于这些设备上往往只能使用训练好的参数进行计算，但是成本限制或者产品需求不能使用API，因此必须要搞清楚网络结构，并且手动复现这个计算过程，以及提取出模型保存好的参数来进行推理。首先介绍LSTM的基本结构：
[结构图引自博客 ]https://blog.csdn.net/kami0116/article/details/94749564.

其中的c_prev和h_prev是前一时刻的状态，c，h是当前时刻的输出。通常LSTM中会有多个隐藏层，隐藏层可以理解成多个LSTM的串接，前一个LSTM的输出作为下一个LSTM的输入。但是在实际应用中，如FPGA或者ASIC实现，从硬件思维来考虑，由于LSTM对于时间连续性的要求，使得多个LSTM和单个LSTM在算一路数据而言，其耗时相当。c_prev和h_prev是一组向量，而第一个LSTM单元的c_prev和h_prev被默认为全为0的向量值。
Wf，Wi，Wj，Wo则是LSTM的权重信息，j 在文献中通常会用C来表示，为了区分以及方便对照着这个结构图写代码，此处用 j 表示。

公式中括号的[x,hprev]表示向量的拼接，[x,hprev] · Wf ，代表矩阵乘法，硬件中的操作是MAC（乘累加），*则是矩阵中相同位置的数字相乘没有累加这一操作。σ是sigmoid激活函数，tanh也是激活函数。

LSTM结构介绍完毕，代码分析。

TensorFlow的API中，有两个构造LSTM的函数：
1：

tf.contrib.rnn.BasicLSTMCell(