3.在CentOS上使用Docker 部署tensorflow_model_server

• 安装Docker

#官方安装
curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun

#国内 daocloud 一键安装
curl -sSL https://get.daocloud.io/docker | sh

详细安装见菜鸟教程：https://www.runoob.com/docker/centos-docker-install.html

• 下载serving镜像

# （文件较大6.23GB，下载时间较长）
docker pull tensorflow/serving:latest-devel

• 用serving镜像创建容器

  docker run -it -p 9000:9000 tensorflow/serving:latest-devel  --privileged=true

  查看安装好的镜像

  sudo docker images

  

• 测试创建的serving

1. 克隆仓库

   ​# 新建临时文件夹
   mkdir -p /tmp/tfserving
   # 进入临时文件夹
   cd /tmp/tfserving
   # 克隆官方仓库
   git clone --depth=1 https://github.com/tensorflow/serving

    

2. 运行容器

   docker run -p 8501:8501 -v /tmp/tfserving/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_three:/models/half_plus_three -e MODEL_NAME=half_plus_three -t tensorflow/serving &

     注解：-p：指定要映射的IP和端口；-v：挂载一个宿主机目录，冒号":"前面的目录是宿主机目录，后面的目录是容器内目录；-e：指定环境变量，XXX_XXX="xxxxxxxxxxx"

-d, --detach=false # 后台运行容器，并返回容器ID；
-i, --interactive=false # 以交互模式运行容器，通常与 -t 同时使用；
-t, --tty=false # 为容器重新分配一个伪输入终端，通常与 -i 同时使用；
-u, --user="" # 指定容器的用户
-a, --attach=[] # 登录容器（必须是以docker run -d启动的容器）
-w, --workdir="" # 指定容器的工作目录
-c, --cpu-shares=0 # 设置容器CPU权重，在CPU共享场景使用
-e, --env=[] # 指定环境变量，容器中可以使用该环境变量
-m, --memory="" # 指定容器的内存上限
-P, --publish-all=false # 指定容器暴露的端口
-p, --publish=[] # 指定容器暴露的端口
-h, --hostname="" # 指定容器的主机名
-v, --volume=[] # 给容器挂载存储卷，挂载到容器的某个目录
--volumes-from=[] # 给容器挂载其他容器上的卷，挂载到容器的某个目录
--cap-add=[] # 添加权限，权限清单详见：http://linux.die.net/man/7/capabilities
--cap-drop=[] # 删除权限，权限清单详见：http://linux.die.net/man/7/capabilities
--cidfile="" # 运行容器后，在指定文件中写入容器PID值，一种典型的监控系统用法
--cpuset="" # 设置容器可以使用哪些CPU，此参数可以用来容器独占CPU
--device=[] # 添加主机设备给容器，相当于设备直通
--dns=[] # 指定容器的dns服务器
--dns-search=[] # 指定容器的dns搜索域名，写入到容器的/etc/resolv.conf文件
--entrypoint="" # 覆盖image的入口点
--env-file=[] # 指定环境变量文件，文件格式为每行一个环境变量
--expose=[] # 指定容器暴露的端口，即修改镜像的暴露端口
--link=[] # 指定容器间的关联，使用其他容器的IP、env等信息
--lxc-conf=[] # 指定容器的配置文件，只有在指定--exec-driver=lxc时使用
--name="" # 指定容器名字，后续可以通过名字进行容器管理，links特性需要使用名字
--net="bridge" # 容器网络设置:
    bridge  # 使用docker daemon指定的网桥
    host  # 容器使用主机的网络
    container:NAME_or_ID > # 使用其他容器的网路，共享IP和PORT等网络资源
    none # 容器使用自己的网络（类似--net=bridge），但是不进行配置
--privileged=false # 指定容器是否为特权容器，特权容器拥有所有的capabilities
--restart="no" # 指定容器停止后的重启策略:
    no # 容器退出时不重启
    on-failure # 容器故障退出（返回值非零）时重启
    always # 容器退出时总是重启
--rm=false # 指定容器停止后自动删除容器(不支持以docker run -d启动的容器)
--sig-proxy=true # 设置由代理接受并处理信号，但是SIGCHLD、SIGSTOP和SIGKILL不能被代理

1. 预测：打开新的终端运行以下代码，进行测试。

   curl -d '{"instances": [1.0, 2.0, 5.0]}' -X POST http://localhost:8501/v1/models/half_plus_three:predict

   

• docker常用命令

  # 启动/停止容器
  docker start/stop $container_id或$container_name
  # 查看运行容器
  docker ps
  # 查看全部容器
  docker ps -a
  # 删除指定容器
  docker rm $container_id或$container_name
  # 查看运行容器的日志
  docker logs -f $container_id或$container_name
  # docker 删除镜像
  docker rmi image:tag # 例如docker rmi tensorflow/serving:latest

  https://www.jianshu.com/p/bd67b40e6b85?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation

文件复制：

cp -Rf /home/lihui/tfPlantPic/reconPlantPic/saved_model/resnet34_model /home/lihui/mytmp/tfserving

服务映射：

docker run -p 8501:8501 -v /home/lihui/mytmp/tfserving/resnet34_model:/models/resnet34_model -e MODEL_NAME=resnet34_model -t tensorflow/serving &