群雁计划 · 解读第4期：滴滴弹性推理服务EIS

桔妹导读：滴滴智能出行开放平台是滴滴在“群雁计划”中打造的，面向智能出行领域的人工智能开放平台。在该平台上，滴滴将积累的AI 技术、服务、算力以及多元化的解决方案进行全方位的开放。

1.

滴滴弹性推理服务 EIS 简介

滴滴弹性推理服务 EIS（Elastic Inference Service）隶属于滴滴群雁计划的AI基础平台部分，是AI 在线服务的分布式计算平台和计算加速引擎。

滴滴弹性推理服务 EIS 聚焦解决 AI“最后一公里”的问题，根据 AI 服务对 QPS 和 RT 的需求自动配置计算资源，结合从模型 Serving 到机器指令的全栈式性能优化服务，为客户提供最具性价比的解决方案。同时，滴滴云弹性推理服务 EIS 为 AI 在线服务提供负载均衡、弹性扩容、自动容灾、安全保障等服务。

2.

滴滴 AI 智能加速引擎 IFX 斩获

斯坦福 DAWNBench 深度学习推理榜单双料冠军

近日，斯坦福大学发布了 DAWNBench 最新成绩，在基于 ImageNet 图像数据集上完成 top5 93% 以上计算精度的任务里，滴滴 AI 智能加速引擎 IFX 获得了 Inference Latency 以及 Inference Cost 双料世界第一的成绩。其中，IFX 所输出的神经网络推理性能以1.5439ms 的成绩领先第2名 21%；10000张图片分类任务在滴滴云 GPU 实例上的平均成本仅为0.003美金，领先第2名0.008美金。这是当前所有竞榜的参与者中，在 P4 GPU 上面获取到的最佳成绩。

DAWNBench ImageNet Inference Latency 

 DAWNBench ImageNet Inference Cost 

近年来，神经网络的需求越来越多，对性能、成本、服务能力的要求也越来越高，滴滴在此背景下，推出了 AI 智能加速引擎 IFX，专门为客户提供端到端的 AI 解决方案。 

IFX 是滴滴弹性推理服务EIS的智能加速引擎，可提供低延时，高吞吐的神经网络实现方案，支持 tensorflow，pytorch，caffe，darknet 等神经网络模型一键部署到 NVIDIA GPU，ARM 等异构设备。目前该引擎已经广泛应用于滴滴内部人脸检测、OCR、语音识别、ETA 等各项业务。 

IFX 在滴滴内部已经得到了很好的落地，作为基础推理引擎，为滴滴简枢、EIS、DDIVA 等多个产品提供了坚实的性能保证。 

• 简枢机器学习平台

https://www.didiyun.com/solution/gpu-management.html：

以主流深度学习框架为基础，与 k8s 和 Docker 容器技术相结合，提供实验环境、离线任务和在线服务三大功能，支持业务从模型研究、批量训练到在线预测的全流程打通，可以使用户更加专注深度学习应用本身。

• 滴滴弹性推理服务EIS

https://www.didiyun.com/production/eis.html:

可将用户自定义深度学习模型一键发布为推理服务，并为推理服务提供托管环境，简单易用，支持 TensorFlow，pytorch 等多种深度学习框架训练出的模型。

• DDIVA

面向海量智能视频分析场景推出的一套完善的，高性能的视频分析框架，集成基于 NVIDIA GPU 硬件和 CPU 软件的视频编解码方案，最大限度增加视频编解码的吞吐。

IFX隶属于滴滴智能出行开放平台——滴滴弹性推理服务 EIS，IFX 将持续开放滴滴 AI 推理加速能力。

IFX 适用的场景非常的丰富，我们不限制其只能运行在滴滴的平台，更希望将此能力能够赋能给外部客户，产生更大的用户价值：

• 公有云部署

适用于部署在滴滴云等公有云上的 AI 服务，为用户公有云服务提供AI智能加速解决方案。

• 私有云部署

适用于部署在企业私有云环境的 AI 应用，提高 AI 服务效率、降低 AI 服务成本。

• IOT

IFX 可应用于智能制造、智能家居、智能汽车、智能机器人、智能交通等各种 IOT 场景中，提高计算效率、降低应用时延。

• 边缘计算

业务对于边缘计算的实时性要求更高，即更强的处理能力和更快的响应速度。IFX能够帮助边缘设备更快处理业务请求。 

据悉，此次提交的成绩其实并非 IFX 在 P4 GPU 上表现的最佳成绩，滴滴 IFX 进一步优化了推理性能，在滴滴内部最近几次的测试数据更加亮眼。那么，为什么滴滴 IFX 能够对 AI 推理性能做到如此极致的优化？滴滴 IFX 团队后续将一一揭秘，阅读原文，了解更多技术干货。

本文首发自滴滴科技合作 (ID:didioutreach)

推荐阅读
▬



更多推荐
▬
滴滴开源 / Open Source
AoE | Delta | Mpx | Booster | Chameleon | DDMQ | DroidAssist | Rdebug | Doraemonkit | Kemon | Mand Moblie | virtualApk | 获取更多项目


技术干货 / Recommended article
WebPack 如何控制事件执行流 | Android 性能优化之 Activity 启动耗时分析 | HDFS 源码解读：HadoopRPC 实现细节的探究| 阅读更多内容