在前面的docker+tensorflow serving部署在线模型时,开启服务后GPU默认占用所有剩余的GPU,查找资料后,在命令行中加入即可:
docker run --runtime=nvidia -p 8501:8501 \
--mount type=bind,\
source=/home/path/to//model/mnist,\
target=/models/mnist \
-e MODEL_NAME=mnist -e NVIDIA_VISIBLE_DEVICES=0 -t tensorflow/serving:1.12.0-gpu &
如果该博客对你有用,点个赞(*—*)