Ubuntu上Docker 部署nginx+TensorFlow-GPU+Flask生产环境

最新推荐文章于 2025-03-30 22:10:13 发布

原创

最新推荐文章于 2025-03-30 22:10:13 发布 · 680 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍了如何在Ubuntu上利用Docker部署TensorFlow-GPU和Flask的生产环境，结合Nginx进行接口服务。首先，使用已配置好的TensorFlow-GPU镜像和CUDA环境，然后在镜像中安装Flask和其他依赖。接着，设置Nginx作为反向代理，确保外部可以访问。最后，通过复制和修改服务端口，创建并运行多个容器，实现负载均衡。虽然多容器部署可能增加响应时间，但提供了灵活的扩展性。

前言

业务需要将神经网络模型布在GPU服务器上当做生产环境,通过调用接口的形式用模型分析图片,同时因为服务器还有其他项目在运作,使用Docker容器

Step1

1.本地需要安装TensorFlow-GPU版本镜像,安装CUDA,等配置,之前已有同事配置好镜像文件,此处略去操作,TensorFlow-GPU 1.14.0,CUDA 10.0
2.需要使用nginx部署,docker pull nginx
在这里插入图片描述

step2

实例化TensorFlow-GPU镜像,在镜像中安装自己依赖的包和使用的工具,这里主要安装Flask和vim以及nettools调试用,在安装系统工具前务必使用apt-get update,否则会安装失败,环境布置好后,将容器保存为新的镜像供后面使用

# 1.实例化容器
docker run -d -p 80:80--gpus all -it --name tf_flask_api tensorflow:1.14.0
# --gpus all -it 是docker启动GPU的命令
# 2.进入容器
docker exec -it 16 bash
# 3.安装环境