使用flask和keras部署深度学习模型bug解决之ValueError: Tensor Tensor("dense/Softmax:0", shape=(?, 3), dtype=float32)

在利用keras+flask构建一个简单的深度学习后台服务器，遇到了如下的问题：

ValueError: Tensor Tensor("fc1000/Softmax:0", shape=(?, 1000), dtype=float32) is not an element of this graph。

解决方案如下：

在初始化的时候，加载模型文件和生成graph。

示例代码如下：

def load_keras_model():
    global model
    model = CNNModel.load_model(args.output_dir)
    global graph
    graph = tf.get_default_graph()

load_keras_model()

@flaskAPP.route('/predict_online', methods=['GET', 'POST'])
def predict_online():
    aq_desc = request.args.get('aq_desc')
    new_sent = transform_sentence(aq_desc)
    with graph.as_default():
        label = model.predict(new_sent)
    return label

首先使用load_keras_model加载模型并生成graph（全局），而后在预测时将该模型的预测函数包含到该graph中，即可正常线上预测。

Happy Life！