滴滴云近期推出了弹性推理服务 EIS(Elastic Inference Service)。借助滴滴云 EIS 可快速将在主流深度学习框架上训练的模型发布为在线推理服务,性能较 TensorFlow Serving 有明显的提高。
相比较传统的推理服务发布模式,滴滴云弹性推理服务 EIS 具有如下特点:
- 易用:无需考虑基础架构,仅需关注模型和推理服务。
- 高可用:滴滴云弹性推理服务自带高可用保障和容错机制。
- 易管理:模型的升级等可一键完成。
- SLA 保障:根据购买的实例规格提供 QPS 保障。
本教程通过一个 Inception-v3 模型的例子说明如何在滴滴云弹性推理服务 EIS 上部署模型,进而使用该模型执行在线推理任务。本教程包括如下步骤:
- 准备模型文件
- 把模型文件上传到滴滴云对象存储服务 S3
- 把模型文件从 S3 导入到EIS模型空间
- 创建推理服务
- 执行推理任务
准备模型文件
滴滴云弹性推理服务 EIS 目前支持 TensorFlow、Pytorch、Caffe、Caffe2 等主流深度学习框架。
在上传模型文件之前,请将模型文件压缩成 tar、tar.gz、tar.bz2、tgz、zip 中的任意一种压缩格式。
模型文件目录格式如下图所示&#x