AoE：一种快速集成AI的终端运行环境SDK

一、背景

1.1 AoE是什么

AoE (AI on Edge) 是一个滴滴开源的终端侧AI集成运行时环境(IRE)。以 “稳定性、易用性、安全性” 为设计原则，帮助开发者将不同框架的深度学习算法轻松部署到终端高效执行，Github 地址是 https://github.com/didi/aoe

为什么要做一个 AI 终端集成运行时框架，原因有两个：

一是随着人工智能技术快速发展，这两年涌现出了许多运行在终端的推理框架，在给开发者带来更多选择的同时，也增加了将AI布署到终端的成本；

二是通过推理框架直接接入AI的流程比较繁琐，涉及到动态库接入、资源加载、前处理、后处理、资源释放、模型升级，以及如何保障稳定性等问题。

目前AoE SDK已经在滴滴银行卡OCR上应用使用，想更加清晰地理解 AoE 和推理框架、宿主 App 的关系，可以通过下面的业务集成示意图来了解它。

1.2 终端推理框架一览

下面是终端运行的8种主流推理框架（排名不分先后）。

1.3 AoE 如何支持各种推理框架

从本质上来说，无论是什么推理框架，都必然包含下面 5 个处理过程，对这些推理过程进行抽象，是 AoE 支持各种推理框架的基础。
目前，AoE 实现了两种推理框架 NCNN 和 TensorFlow Lite 的支持，以这两种推理框架为例，说明一下 5 个推理过程在各自推理框架里的形式。

1.4 AoE 支持哪些平台

目前，AoE 已经开源的运行时环境 SDK 包括 Android 和 iOS 平台，此外 Linux 平台运行时环境 SDK 正在紧锣密鼓地开发中，预计在9月底也会和大家正式见面。

二、工作原理

2.1 抽象推理框架的处理过程