查看CUDA版本:
cat /usr/local/cuda/version.txt
查看文件链接到哪里:
ls -al libcuda.so.1
docker 下 tensorflow_model_server t2t部署
1.安装docker
见菜鸟教程:http://www.runoob.com/docker/docker-tutorial.html
2.下载serving镜像:
docker pull tensorflow/serving:latest-devel(文件较大3G多,下载时间较长)
3.用serving镜像创建容器:
-
docker run -it -p 9000:9000 tensorflow/serving:latest-devel --privileged=true(调用GPU)
4.将模型拷贝到容器中:(新开个命令窗口)
docker cp [模型文件所在目录] 容器ID:/[容器中目录]
如:
-
docker cp E:/model/export 0f087sdf8sf:/model
5.容器中运行tensorflow_model_server服务
tensorflow_model_server --port=9000 --model_name=nmt --model_base_path=/model
6.t2t连接
-
t2t-query-server --server=*.*.*.*:9000 --servable_name=nmt --problem=