torchserve部署

torchserve demo
下面是densenet161模型部署demo步骤s
docker部署

下载第一个image

启动一个容器
docker run --name demo -d e38d077aa5ff

进入容器

docker exec -it 4803ff2cc32a /bin/bash

下载torchserve

git clone https://github.com/pytorch/serve.git
mkdir model_store

下载模型

wget https://download.pytorch.org/models/densenet161-8d451a50.pth

转换模型，这一步会在model_store中生成*.mar模型

torch-model-archiver --model-name densenet161 --version 1.0 --model-file ./serve/examples/image_classifier/densenet_161/model.py --serialized-file densenet161-8d451a50.pth --export-path model_store --extra-files ./serve/examples/image_classifier/index_to_name.json --handler image_classifier

部署模型

torchserve --start --ncs --model-store model_store --models densenet161.mar
开启另一个终端

下载一张图片

curl -O https://raw.githubusercontent.com/pytorch/serve/master/docs/images/kitten_small.jpg

使用部署的模型推理

docker exec 4803ff2cc32a curl http://127.0.0.1:8080/predictions/densenet161 -T kitten_small.jpg
输出结果json格式