墨尘的模型部署3--nvidia-docker实现tensorflow serving单模型文件部署（三）

最新推荐文章于 2025-02-18 03:18:57 发布

我是尘客哥

最新推荐文章于 2025-02-18 03:18:57 发布

阅读量386

点赞数

分类专栏：墨尘的模型部署

本文链接：https://blog.csdn.net/icomma/article/details/105377663

版权

本文档详细介绍了如何手动定制基于CentOS的Docker镜像，用于部署本地训练的模型my model。首先，下载CentOS镜像并启动容器，配置软件包、SSH服务和开机启动配置。接着，将模型复制到容器内，打包成新镜像。然后，通过Dockerfile自动化定制docker-tf-gpu镜像，包括创建Dockerfile、构建镜像，并查看和启动容器。整个过程旨在简化TensorFlow Serving的模型部署流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

定制容器tensorflow serving镜像,并部署训练好模型文件

1.手动定制本地已经训练模型的镜像（使用可用于开发的镜像dev）

1.1 下载centos镜像,启动容器，进入容器

# 下可用于后期开发的镜像
[root@aiserver ~]# docker pull tensorflow/serving:latest-dev-gpu
# 启动容器
[root@aiserver ~]# docker run -it -d --name serving-base tensorflow/serving:latest-dev-gpu
# 进入容器
[root@aiserver ~]# docker exec -it serving-base /bin/bash
[root@d72250ecaa5e /]# ifconfig
bash: ifconfig: command not found

/bin/bash：指进入容器时执行的命令（command）

1.2. 配置容器内软件包，开启ssh服务及开机启动配置

[root@d72250ecaa5e /]#  apt-get install openssh-server net-tools -y
[root@d72250ecaa5e /]# mkdir -pv /var/run/sshd 
# 进入'/var/run/sshd'文件夹  
[root@d72250ecaa5e /]# cat ./auto_sshd.sh 
#增加可执行权限
[root@d72250ecaa5e /]# chmod +x /auto_sshd.sh

[root@d72250ecaa5e /]# echo "root:iloveworld" | chpasswd

生成ssh 主机dsa 密钥（不然ssh 该容器时，会出现错误。）
遇到输入Enter same passphrase again:时候，直接回车跳过

[root@d72250ecaa5e /]# ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key
[root@d72250ecaa5e /]# ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key

我们加一个history记录的时间功能吧，这样方便后期查看

echo 'export HISTTIMEFORMAT="%F %T `whoami` "' >> /etc/profile

1.3. 将训练好的模型my model复制到名为serving_base容器内

最低0.47元/天解锁文章