Nginx+uwsgi+flask 部署深度学习模型,预加载模型踩坑
Nginx+uwsgi+flask 部署深度学习模型,预加载模型踩坑
问题:
基于Tensorflow加载图模型后,在普通Flask服务中测试通过,但是部署在 Nginx+uwsgi+flask调用session.run()后时一直阻塞
原因:
要是原因是uWSGI采用多线程调用Flask服务,即对于上述全局的模型,若是初始化后,会被每一个线程复制一次,即每个线程会有一个自己独立的全局图模型,但在后续调用服务时,会导致session的阻塞。
解决方案:
使上述所有的线程共享同一个全局的图模型.
原创
2021-01-15 14:13:28 ·
1143 阅读 ·
3 评论