墨尘的模型部署2--nvidia-docker部署Tensorflow Serving(CPU+GPU)环境准备（一）

最新推荐文章于 2025-02-18 03:18:57 发布

我是尘客哥

最新推荐文章于 2025-02-18 03:18:57 发布

阅读量1.5k

点赞数 2

分类专栏：墨尘的模型部署

本文链接：https://blog.csdn.net/icomma/article/details/105212601

版权

本文介绍了如何使用NVIDIA-Docker部署Tensorflow Serving的CPU和GPU版本。在CPU版本中，涉及Docker镜像、端口映射和环境变量配置。在GPU版本中，详细阐述了nvidia-docker的安装步骤，以及如何启动GPU支持的Tensorflow Serving服务。同时，还涵盖了gRPC部署手写体mnist模型的客户端配置、模型训练与保存、服务运行等环节。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

nvidia-docker部署Tensorflow Serving（CPU+GPU）环境准备

官网:TensorFlow Serving with Docker

一、Docker部署Tensorflow Serving CPU版本

# Download the TensorFlow Serving Docker image and repo
docker pull tensorflow/serving

git clone https://github.com/tensorflow/serving
# Location of demo models
TESTDATA="$(pwd)/serving/tensorflow_serving/servables/tensorflow/testdata"

# Start TensorFlow Serving container and open the REST API port
# 方法一
sudo docker run -t --rm -p 8501:8501 -v "/home/mochen/tmp/tfserving/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_cpu:/models/half_plus_two" -e MODEL_NAME=half_plus_two tensorflow/serving
# 方法二
sudo docker run -dt -p 8501:8501 -v "/home/mochen/tmp/tfserving/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_cpu:/models/half_plus_two" -e MODEL_NAME=half_plus_two tensorflow/serving
# 方法三
sudo docker run -d -p 8501:8501 --mount type=bind,source=/home/mochen/tmp/tfserving/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_cpu/,target=/models/half_plus_two -e MODEL_NAME=half_plus_two -t --name testserver tensorflow/serving

# Query the model using the predict API
curl -d '{"instances": [1.0, 2.0,