如何让TensorFlow模型运行提速36.8%

在训练TensorFlow模型的时候，我们传统的做法是在每个Epoch将数据通过feed_dict导入到session中，即不断地从Python到C++之间来回切换，这种做法十分不高效。而且，训练操作与导入数据操作都是属于同一个主线程，它们属于同步操作，训练操作必须等待导入数据操作完成以后才开始执行。这种做法带来的就是运行效率底下，我们应该赶紧抛弃，取而代之的是TensorFlow中的线程和队列。下面，我将通过实例代码来说明如何使用线程和队列以及其如何为程序效率提高36%。

为了比较，我写了一段传统的基于TensorFlow训练神经网络的代码。构建了一个隐含层神经元个数为128的双向动态LSTM网络（BLSTM），输入数据是400个样本，每个样本的维度是[128, 512]，即时间长度为128，特征长度为512，而对应标签是将这个序列进行二分类，得到0或1。

x和y是标准的输入输出，网络的预测输出则是在BLSTM顶端加了一个线性MLP，最后通过sigmoid层并输出交叉熵误差。在这个程序里，数据都是通过feed_dict导入的，代码如下：

#coding:utf-8

import time

import tensorflow as tf
from tensorflow.contrib.rnn import LSTMCell

'''
构建了一个隐含层神经元个数为128的双向动态LSTM网络（BLSTM），
输入数据是400个样本，每个样本的维度是[128, 512]，即时间长度为128，特征长度为512，
而对应标签是将这个序列进行二分类，得到0或1。
'''

time_length = 128

batch_size = 400

feature_size = 512

hidden_size = 128

# 随机产生以均值为0 方差为1 的[time_length, batch_size, feature_size]数据
x = tf.random_normal([time_length,
    batch_size, feature_size], mean=0, stddev=1)

y = tf.reduce_mean(tf.reduce_sum(x, axis=0), axis=1, keep_di