通过Docker使用TensorFlow服务

最新推荐文章于 2022-06-07 18:15:06 发布
最新推荐文章于 2022-06-07 18:15:06 发布
阅读量2.3k 收藏 2
点赞数
分类专栏： docker 机器学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lwhsyit/article/details/86511777
版权
python 同时被 3 个专栏收录
47 篇文章 1 订阅
订阅专栏
机器学习
16 篇文章 0 订阅
订阅专栏
docker
3 篇文章 0 订阅
订阅专栏

 

通过Docker使用TensorFlow服务

开始使用TensorFlow服务的最简单方法之一是使用 Docker。

安装Docker

一般安装说明 在Docker站点上，但我们在此提供一些快速链接：

通过Docker使用服务

拉取服务镜像

安装Docker后，您可以通过运行以下命令来提取最新的TensorFlow Serving docker 镜像

docker pull tensorflow/serving

这将下载最小的含安装TensorFlow服务的Docker镜像包。

有关您可以提取的其他镜像版本，请参阅Docker Hub tensorflow / serve repo。

运行服务镜像

服务镜像（CPU和GPU）具有以下属性：

  • 端口8500暴露于gRPC
  • 端口8501为REST API公开
  • 可选环境变量MODEL_NAME（默认为model）
  • 可选环境变量MODEL_BASE_PATH（默认为/models）

当服务镜像运行ModelServer时，它运行如下：


tensorflow_model_server --port=8500 --rest_api_port=8501 \
  --model_name=${MODEL_NAME} --model_base_path=${MODEL_BASE_PATH}/${MODEL_NAME}tensorflow_model_server --port=8500 --rest_api_port=8501 \
  --model_name=${MODEL_NAME} --model_base_path=${MODEL_BASE_PATH}/${MODEL_NAME}

要使用Docker，您需要：

  • 主机上的开放端口可供使用
  • 要保存的SavedModel
  • 客户端将引用的模型名称

你要做的是 运行Docker容器， 将 容器的端口发布到主机的端口，并将主机的路径安装到容器所需模型的SavedModel。

我们来看一个例子：


docker run -p 8501:8501\
  --mount type=bind,source=/path/to/my_model/,target=/models/my_model \
  -e MODEL_NAME=my_model -t tensorflow/servingdocker run -p 8501:8501\
  --mount type=bind,source=/path/to/my_model/,target=/models/my_model \
  -e MODEL_NAME=my_model -t tensorflow/serving

在这种情况下，我们启动了一个Docker容器，将REST API端口8501发布到我们主机的端口8501，并采用我们命名的模型my_model并将其绑定到默认模型基本路径（${MODEL_BASE_PATH}/${MODEL_NAME}= /models/my_model）。最后，我们填补了环境变量 MODEL_NAME有my_model，离开MODEL_BASE_PATH它的默认值。

这将在容器中运行：


tensorflow_model_server --port=8500 --rest_api_port=8501 \
  --model_name=my_model --model_base_path=/models/my_modeltensorflow_model_server --port=8500 --rest_api_port=8501 \
  --model_name=my_model --model_base_path=/models/my_model

如果我们想发布gRPC端口，我们会使用-p 8500:8500。您可以同时打开gRPC和REST API端口，也可以选择仅打开其中一个。

传递其他参数

tensorflow_model_server支持许多可以传递给服务docker容器的其他参数。例如，如果我们想要传递模型配置文件而不是指定模型名称，我们可以执行以下操作：


docker run -p 8500:8500 8501:8501\
  --mount type=bind,source=/path/to/my_model/,target=/models/my_model \
  --mount type=bind,source=/path/to/my/models.config,target=/models/models.config \
  -t tensorflow/serving --model_config_file=/models/models.configdocker run -p 8500:8500 8501:8501\
  --mount type=bind,source=/path/to/my_model/,target=/models/my_model \
  --mount type=bind,source=/path/to/my/models.config,target=/models/models.config \
  -t tensorflow/serving --model_config_file=/models/models.config

此方法适用于支持的任何其他命令行参数 tensorflow_model_server。

创建自己的服务镜像

如果您想要将模型内置到容器中的服务镜像，则可以创建自己的镜像

首先将服务图像作为守护程序运行：


ocker run -d --name serving_base tensorflow/servingocker run -d --name serving_base tensorflow/serving

接下来，将SavedModel复制到容器的模型文件夹：


ocker cp models/<my model> serving_base:/models/<my model>ocker cp models/<my model> serving_base:/models/<my model>

最后，通过更改MODEL_NAME 以匹配模型的名称来提交为您的模型提供服务的容器“：


docker commit --change "ENV MODEL_NAME <my model>" serving_base <my container>docker commit --change "ENV MODEL_NAME <my model>" serving_base <my container>

你现在可以停下来了 serving_base


docker kill serving_basedocker kill serving_base

这将为您留下一个<my container>可以部署的Docker镜像，并将加载您的模型以便在启动时提供服务。

服务的例子

让我们来看一个完整的例子，我们加载一个SavedModel并使用REST API调用它。首先拉出服务图像：


docker pull tensorflow/servingdocker pull tensorflow/serving

这将使用安装的ModelServer拉出最新的TensorFlow服务图像。

接下来，我们将使用一个名为的玩具模型Half Plus Two，它0.5 * x + 2为x我们提供的预测值生成。

要获得此模型，请首先克隆TensorFlow服务仓库。


mkdir -p /tmp/tfserving
cd /tmp/tfserving
git clone https://github.com/tensorflow/servingmkdir -p /tmp/tfserving
cd /tmp/tfserving
git clone https://github.com/tensorflow/serving

接下来，运行TensorFlow Serving容器，将其指向此模型并打开REST API端口（8501）：

docker run -p 8501:8501 \
--mount type=bind,\
source=/tmp/tfserving/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_cpu,\
target=/models/half_plus_two \
-e MODEL_NAME=half_plus_two -t tensorflow/serving &

注意：命令间隔只能有一个空格，--mount后面的key=value之间用逗号隔开，不能有空格

https://stackoverflow.com/questions/52611080/tensor-flow-serving-docker-invalid-field

这将运行docker容器并启动TensorFlow服务模型服务器，绑定REST API端口8501，并将我们所需的模型从主机映射到容器中预期模型的位置。我们还将模型的名称作为环境变量传递，这在查询模型时非常重要。

要使用predict API查询模型，您可以运行

curl -d '{"instances": [1.0, 2.0,4.0]}'    -X POST http://localhost:8501/v1/models/half_plus_two:predict

这应该返回一组值：


 {"predictions": [2.5, 3.0, 4.5] } {"predictions": [2.5, 3.0, 4.5] }

有关使用RESTful API的更多信息，请访问此处。

使用您的GPU服务Docker

安装nvidia-docker

在使用GPU之前，除了 安装Docker之外，您还需要：

运行GPU服务图像

运行GPU服务映像与运行CPU映像相同。有关更多详细信息，请参阅运行服务图像。

GPU服务示例

让我们来看一个完整的例子，我们用GPU绑定的ops加载一个模型，并使用REST API调用它。

首先安装nvidia-docker。接下来，您可以通过运行以下命令来获取最新的TensorFlow服务GPU docker镜像：


docker pull tensorflow/serving:latest-gpudocker pull tensorflow/serving:latest-gpu

这将使用为在所安装的GPU上运行而构建的ModelServer下拉最小的Docker镜像。

接下来，我们将使用一个名为的玩具模型Half Plus Two，它0.5 * x + 2为x我们提供的预测值生成。此模型将操作绑定到GPU设备，并且不会在CPU上运行。

要获得此模型，请首先克隆TensorFlow服务仓库。


mkdir -p /tmp/tfserving
cd /tmp/tfserving
git clone https://github.com/tensorflow/servingmkdir -p /tmp/tfserving
cd /tmp/tfserving
git clone https://github.com/tensorflow/serving

接下来，运行TensorFlow Serving容器，将其指向此模型并打开REST API端口（8501）：



docker run --runtime=nvidia -p 8501:8501\
 --mount type=bind,\
source=/tmp/tfserving/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_gpu,\
target=/models/half_plus_two \
-e MODEL_NAME=half_plus_two -t tensorflow/serving:latest-gpu &
docker run --runtime=nvidia -p 8501:8501\
 --mount type=bind,\
source=/tmp/tfserving/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_gpu,\
target=/models/half_plus_two \
-e MODEL_NAME=half_plus_two -t tensorflow/serving:latest-gpu &

这将使用运行时运行docker容器nvidia-docker，启动TensorFlow服务模型服务器，绑定REST API端口8501，并将我们所需的模型从主机映射到容器中预期模型的位置。我们还将模型的名称作为环境变量传递，这在查询模型时非常重要。

提示：在查询模型之前，请务必等到看到如下所示的消息，表明服务器已准备好接收请求：


2018-07-27 00:07:20.773693: I tensorflow_serving/model_servers/main.cc:333]
Exporting HTTP/REST API at:localhost:8501 ...2018-07-27 00:07:20.773693: I tensorflow_serving/model_servers/main.cc:333]
Exporting HTTP/REST API at:localhost:8501 ...

要使用predict API查询模型，您可以运行


$ curl -d '{"instances": [1.0, 2.0, 5.0]}' \
  -X POST http://localhost:8501/v1/models/half_plus_two:predict$ curl -d '{"instances": [1.0, 2.0, 5.0]}' \
  -X POST http://localhost:8501/v1/models/half_plus_two:predict

注意：较旧版本的Windows和其他没有卷曲的系统可以在此处下载 。

这应该返回一组值：


{ "predictions": [2.5, 3.0, 4.5] }{ "predictions": [2.5, 3.0, 4.5] }

提示：尝试在没有GPU或没有TensorFlow Model Server的GPU构建的计算机上运行GPU模型将导致如下错误：


Cannot assign a device for operation 'a': Operation was explicitly assigned to /device:GPU:0Cannot assign a device for operation 'a': Operation was explicitly assigned to /device:GPU:0

有关使用RESTful API的更多信息，请访问此处。

用Docker开发拉动开发镜像

对于可以构建TensorFlow服务的开发环境，您可以尝试：


docker pull tensorflow/serving:latest-develdocker pull tensorflow/serving:latest-devel

对于可以使用GPU支持构建TensorFlow服务的开发环境，请使用：


docker pull tensorflow/serving:latest-devel-gpudocker pull tensorflow/serving:latest-devel-gpu

有关您可以提取的其他图像版本，请参阅Docker Hub tensorflow / serve repo。

发展实例

拉出其中一个开发Docker镜像后，您可以在打开gRPC端口（8500）时运行它：


docker run -it -p 8500:8500 tensorflow/serving:latest-develdocker run -it -p 8500:8500 tensorflow/serving:latest-devel

测试开发环境

要测试模型，请从容器内部尝试：


# build the exporter
bazel build -c opt //tensorflow_serving/example:mnist_saved_model
# train the mnist model
bazel-bin/tensorflow_serving/example/mnist_saved_model /tmp/mnist_model
# serve the model
tensorflow_model_server --port=8500 --model_name=mnist --model_base_path=/tmp/mnist_model/ &
# build the client
bazel build -c opt //tensorflow_serving/example:mnist_client
# test the client
bazel-bin/tensorflow_serving/example/mnist_client --num_tests=1000 --server=localhost:8500# build the exporter
bazel build -c opt //tensorflow_serving/example:mnist_saved_model
# train the mnist model
bazel-bin/tensorflow_serving/example/mnist_saved_model /tmp/mnist_model
# serve the model
tensorflow_model_server --port=8500 --model_name=mnist --model_base_path=/tmp/mnist_model/ &
# build the client
bazel build -c opt //tensorflow_serving/example:mnist_client
# test the client
bazel-bin/tensorflow_serving/example/mnist_client --num_tests=1000 --server=localhost:8500

Dockerfiles

我们目前维护以下Dockerfiles：

  • Dockerfile，这是安装了TensorFlow服务的最小VM。

  • Dockerfile.gpu，这是一个最小的虚拟机，TensorFlow服务与GPU支持一起使用nvidia-docker。

  • Dockerfile.devel，这是一个最小的VM，具有构建TensorFlow服务所需的所有依赖项。

  • Dockerfile.devel-gpu，这是一个最小的VM，具有构建具有GPU支持的TensorFlow服务所需的所有依赖关系。

从Dockerfile构建容器

如果您想从Dockerfile构建自己的Docker镜像，可以通过运行Docker构建命令来实现：

Dockerfile：


docker build --pull -t $USER/tensorflow-serving .docker build --pull -t $USER/tensorflow-serving .

Dockerfile.gpu：


docker build --pull -t $USER/tensorflow-serving-gpu -f Dockerfile.gpu .docker build --pull -t $USER/tensorflow-serving-gpu -f Dockerfile.gpu .

Dockerfile.devel：


docker build --pull -t $USER/tensorflow-serving-devel -f Dockerfile.devel .docker build --pull -t $USER/tensorflow-serving-devel -f Dockerfile.devel .

Dockerfile.devel-gpu：


docker build --pull -t $USER/tensorflow-serving-devel-gpu -f Dockerfile.devel-gpu .docker build --pull -t $USER/tensorflow-serving-devel-gpu -f Dockerfile.devel-gpu .

提示：在尝试构建映像之前，请检查Docker Hub tensorflow / serve repo以确保不存在满足您需求的映像。

从源构建消耗大量RAM。如果RAM是系统上的问题，则可以通过--local_resources=2048,.5,1.0在调用Bazel时指定来限制RAM使用率。有关 更多信息，请参阅 Bazel文档。您可以使用相同的机制来调整您正在构建TensorFlow服务的optmizations。例如：


docker build --pull --build-arg TF_SERVING_BUILD_OPTIONS="--copt=-mavx \
  --cxxopt=-D_GLIBCXX_USE_CXX11_ABI=0 --local_resources 2048,.5,1.0" -t \
  $USER/tensorflow-serving-devel -f Dockerfile.devel .docker build --pull --build-arg TF_SERVING_BUILD_OPTIONS="--copt=-mavx \
  --cxxopt=-D_GLIBCXX_USE_CXX11_ABI=0 --local_resources 2048,.5,1.0" -t \
  $USER/tensorflow-serving-devel -f Dockerfile.devel .

运行容器

这假设您已构建Dockerfile.devel容器。

要运行打开gRPC端口（8500）的容器：


docker run -it -p 8500:8500 $USER/tensorflow-serving-develdocker run -it -p 8500:8500 $USER/tensorflow-serving-devel

提示：如果您正在运行GPU映像，请务必使用NVIDIA运行时运行 --runtime=nvidia。

从这里，您可以按照测试开发环境的说明进行操作 。

构建优化的服务二进制文件

运行TensorFlow服务的ModelServer时，您可能会注意到如下所示的日志消息：


external/org_tensorflow/tensorflow/core/platform/cpu_feature_guard.cc:141]
Your CPU supports instructions that this TensorFlow binary was not compiled to
use: AVX2 FMAexternal/org_tensorflow/tensorflow/core/platform/cpu_feature_guard.cc:141]
Your CPU supports instructions that this TensorFlow binary was not compiled to
use: AVX2 FMA

这表示您的ModelServer二进制文件未针对其运​​行的CPU进行完全优化。根据您所服务的型号，可能不需要进一步优化。但是，构建优化的二进制文件是直截了当的。

从提供的文件Dockerfile.devel或 Dockerfile.devel-gpu文件构建Docker镜像时，将使用该标志构建ModelServer二进制文件 -march=native。这将导致Bazel构建一个ModelServer二进制文件，其中所有CPU优化都是您在支持上构建Docker镜像的主机。

要创建完全针对您的主机优化的服务图像，只需：

  1. 克隆TensorFlow服务项目

    
git clone https://github.com/tensorflow/serving
//github.com/tensorflow/serving
  2. cd serving

  3. 使用优化的ModelServer构建映像

    • 对于CPU：

      
docker build --pull -t $USER/tensorflow-serving-devel \   -f tensorflow_serving/tools/docker/Dockerfile.devel .  -f tensorflow_serving/tools/docker/Dockerfile.devel .

    • 对于GPU：`

      
docker build --pull -t $USER/tensorflow-serving-devel-gpu \
-f tensorflow_serving/tools/docker/Dockerfile.devel-gpu .Dockerfile.devel-gpu .

  4. 以开发图像为基础构建服务图像

    • 对于CPU：

      
docker build -t $USER/tensorflow-serving  \
  --build-arg TF_SERVING_BUILD_IMAGE=$USER/tensorflow-serving-devel \
  -f tensorflow_serving/tools/docker/Dockerfile .Dockerfile .

      现在$USER/tensorflow-serving，您可以使用新的优化Docker镜像，就像使用标准tensorflow/serving:latest图像一样。

    • 对于GPU：

      
docker build -t $USER/tensorflow-serving-gpu \
  --build-arg TF_SERVING_BUILD_IMAGE=$USER/tensorflow-serving-devel-gpu \
  -f tensorflow_serving/tools/docker/Dockerfile.gpu .Dockerfile.gpu .

      现在$USER/tensorflow-serving-gpu，您可以使用新的优化Docker镜像，就像使用标准tensorflow/serving:latest-gpu图像一样。

    • 源文https://www.tensorflow.org/serving/docker

DreamNotOver
关注
专栏目录
在Docker中使用TensorFlow（GPU版+Ubuntu 20.04）
白马负金羁
03-29 3441
在此前的文章中，我们介绍了如何在Ubuntu 20.04中安装Docker。本文将介绍如何在其中使用TensorFlow（GPU）版。安装完成Docker并检查安装正确后，如果需要Docker容器中有GPU支持，需要再安装NVIDIA-Docker
在Docker里安装TensorFlow
howard2005的专栏
05-23 988
在Ubuntu上安装Docker，在Docker里安装TensorFlow容器
docker + tensorflow serving + tensorflow-gpu jupyter 部署
xzx1232010的博客
11-13 534
1.在此记录下测试步骤，方便以后查询，tensorflow serving可以解决模型生产部署问题，在使用之前先安装docker，参考官方文档安装即可，如果需要使用gpu的话，还得安装nvidia-docker，且tensorflow serving的镜像得是对应cuda的版本，例如tensorflow serving:1.12.0-gpu对应最高的cuda版本是9，cudnn版本为7； 2.d...
docker tensorflow_实操将TensorFlow模型部署成Docker服务
weixin_39631755的博客
11-30 179
1背景深度学习模型如何服务化是一个机器学习领域工程方面的热点，现在业内一个比较主流的做法是将模型和模型的服务环境做成docker image。这样做的一个好处是屏蔽了模型对环境的依赖，因为深度学习模型在服务的时候可能对各种框架版本和依赖库有要求，解决运行环境问题一直是个令人头痛的事情。将模型通过docker服务化后意味着深度学习模型可以在各种环境使用，比如云端直接通过k8s调度拉起，或者...
docker container 编译安装 tensorflow
七爷OK
08-03 1604
docker container 内编译安装 tensorflow 0. build 一个 image，指定 image 名字和版本号。 docker build . -t xxx/yyy:v1 0. build 好了之后，run 这个 image 获得一个 containerID。 注意这里在container内使用GPU的，所以需要runtime参数。这里本地已经安装了cu...
Docker运行tensorflow试试
己亥谷雨
08-17 1123
周六上午起来试了试Docker 运行tensorflow 因为昨天已经pull好了镜像，只需要创建容器。 [root@compute ~]# docker run --name lzb-tensorflow -it -p 8888:8888 -v ~/tensorflow:/test/data tensorflow/tensorflow ________ _______________ ___ __/__.
TensorFlow Serving-GPU版Docker环境部署流程
xiayangmian4130的博客
01-17 3989
TensorFlow Serving最简单的安装方法之一就是使用Docker，我们也将使用Docker完成接下来的操作。 安装TensorFlow Serving step 1 安装Docker 我们将在Ubuntu 16.04的机器上安装Docker，安装方法如下。 step 2 安装nvidia-docker 在使用gpu之前，除了要安装Docker，还需要做以下两件事情： 确保你的机器中已...
Docker安装tensorflow
02-11 4110
介绍如何使用 docker 安装 tensorflow 及 Jupyter，文中环境使用的是 Windows 下虚拟机里的 Ubuntu 20.04 系统。
基于docker安装tensorflow的完整步骤
01-10
最近在自学机器学习，大热的Tensorflow自然不能错过，所以首先解决安装问题，为了不影响本地环境，所以本文基于Docker来安装Tensorflow，我的环境是Ubuntu16.04。 安装Docker Docker分为CE和EE，这里我们选择CE，...
ubuntu18.04中基于Docker搭建tensorflow-gpu开发环境
error的博客
06-07 1115
前提条件就不多提啦，首先得装好nvidia驱动和Docker19以上版本，网上有很多教程。deepo是一个囊括几乎所有深度学习框架的开源镜像，这里我们选择拉取一个tensorflow-gpu版本的，避免占用储存过大。 多方查找原因无法解决，决定尝试另一种方法需要注意，选择的cuda版本需要满足宿主机的显卡驱动需求：官网 宿主机的驱动版本为，因此选用11.0的即可拉取镜像官方地址 这里选择，复制命令：镜像比较大，需要耐心等待，拉取中～ 拉取完成： 2 通过镜像建立容器 通过以下指令： 说明： ：以交互模型运
tensorflow安装报错“core dumped”
herrW
07-15 757
环境说明：Ubuntu18.04.2 LTS+Python3.6.8 安装命令：sudo pip3 install tensorflow或者sudo pip install tensorflow 出错内容：安装成功后，import tensorflow，报错illegal instructio(core dumped)并退出python交互解释器 解决办法：1.删除默认安装的tensorflow版...
Docker中使用TensorFlow
JASON_CHEN
08-23 989
下载TensorFlow images 使用hub.docker.com的镜像 docker pull tensorflow/tensorflow:latest 使用daocloud 的镜像，在国内用速度还是挺快的，如果docker.io的镜像慢，可以用daocloud的。 docker pull daocloud.io/daocloud/tensorflow:latest 启动镜像 启动...
TensorFlow - 保存和恢复
既然选择了远方 便只顾风雨兼程 - 永强
08-06 1536
TensorFlow - 保存和恢复 https://tensorflow.google.cn/guide/saved_model TensorFlow 指南 - TensorFlow 工作原理 https://tensorflow.google.cn/guide tf.train.Saver 类提供了保存和恢复模型的方法。通过 tf.saved_model.simple_save 函数可轻松地保存适合投入使用的模型。Estimator 会自动保存和恢复 model_dir 中的变量。 1. 保存和恢复变量
使用Docker运行TensorFlow
Cyril__Li的博客
08-24 5252
暑假实习的时候需要连接到公司的服务器上跑程序，但是又没权限安装需要的库，所以开始学习使用docker来运行，简直整个世界都变美好了，回学校后要试试在Pycharm上配置docker。1. 安装docker, 显卡驱动, cuda, nvidia-docker2. 首次运行tensorflow官方docker image链接：https://hub.docker.com/r/tensorflow/te
用docker搭建Tensorflow的运行环境
欢迎留言技术探讨
03-02 2228
一、TensorFlow Docker 要求 首先确保宿主机上已经安装了nvidia，可以用nvidia-smi 查看，如果没有的话可以用下面的方法去安装（Ubuntu系统安装方法） 安装nvidia # 检查适合系统的NAVIDIA版本 nvidia-detector # 安装nvidia的命令 apt-get install nvidia-driver-440 安装完成后需要重启启动系统才能生效 卸载nvidia sudo apt-get --purge remove n
Tensorflow Serving 部署自己的模型
酒酿小圆子呀～
10-29 3336
文章目录1. saved_model 模型保存与载入2. 部署自己的模型2.1 将固化后的模型文件放入Tensorflow Serving指定目录2.2 模型发布2.3 查看模型情况2.3.1 查看模型概况2.3.2 查看模型metadata 数据情况:3. 调用API接口进行测试3.1 通过curl命令进行预测3.2 通过 postman 等接口调用软件进行预测 1. saved_model 模型保存与载入 # 基于GRU的预测 inputX = tf.placeholder(tf.float32, sh
docker部署tensorflow serving以及模型替换
anmo7165的博客
03-01 957
Using TensorFlow Serving with Docker 1.Ubuntu16.04下安装docker ce 1-1：卸载旧版本的docker sudo apt-get remove docker docker-engine docker.io 1-2：安装可选内核模块从 Ubuntu 14.04 开始，一部分内核模块移到了可选内核模块包 ( l...
【TensorFlow-serving】初步学习模型部署
风翼冰舟的博客
09-03 3955
前言 初步学习tensorflow serving的手写数字识别模型部署。包括简单的模型训练、保存、部署上线。因为对docker和网络不太熟悉，可能会有部分错误，但是看完博客，能跑通整个流程。此博客将详细介绍流程，但是不详细介绍每个流程的每步的含义，因为这些步骤不会随着任务的不同而发生太大改变。在后续博客中可能会精细介绍每一步的含义。 国际惯例，参考博客： tensorflow官方文档：低阶API...
【tensorflow】tensorflow-model-server安装
C_xixixixi的博客
03-01 1072
直接在ubuntu上使用apt-get进行安装 1、环境说明 ①、操作系统：ubuntu ②、网络要求：需要能够科学上网 2、安装依赖 sudo apt-get install -y python3 build-essential curl libcurl3-dev git libfreetype6-dev libzmq3-dev pkg-config python3-dev python3-numpy python3-pip software-properties-common swig zip zli
使用Docker打包Tensorflow项目
最新发布
05-25
以下是将 TensorFlow 项目打包为 Docker 容器的一般步骤： 1. 准备 Dockerfile。 在 TensorFlow 项目的根目录下新建一个名为 Dockerfile 的文件，并在其中定义容器环境。以下是一个简单的例子： ``` FROM tensorflow/tensorflow:latest-gpu WORKDIR /app COPY . . RUN pip install -r requirements.txt CMD ["python", "main.py"] ``` 该 Dockerfile 使用 TensorFlow 官方镜像作为基础镜像，并在容器中安装 TensorFlow 项目的依赖项，最后启动主程序。可以根据实际需要进行修改。 2. 构建 Docker 镜像。 在终端中切换到 Dockerfile 所在目录，并执行以下命令构建 Docker 镜像： ``` docker build -t my-tensorflow-app . ``` 其中，“my-tensorflow-app” 是自定义的镜像名称。注意，最后的句点表示 Dockerfile 所在目录。 3. 运行 Docker 容器。 在终端中执行以下命令启动 Docker 容器： ``` docker run --gpus all -it --rm my-tensorflow-app ``` 其中，“--gpus all” 表示启用 GPU 支持，“--rm” 表示容器退出时自动删除，my-tensorflow-app 是刚才构建的镜像名称。 如果 TensorFlow 项目需要访问主机文件系统或网络服务，可以使用 Docker 的一些高级特性，如挂载主机目录、指定网络模式等。具体可参考 Docker 官方文档。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值