解决Pytorch模型在Gunicorn部署无法运行或者超时问题

@TOC解决Pytorch模型在Gunicorn部署无法运行或者超时问题

问题描述

训练出了一个Pytorch 文本生成模型，想要用Flask+Gunicorn的方法部署。但是请求模型进行生成的接口时，一直没有结果，最后导致timeout。

我的模型生成接口大概长这样：

model = load_model() #load_model会返回一个pytorch模型

@app.route('/generate')
def generate_texts()<