亚马逊开源Neo-AI框架，可优化AI模型提升部署速度

在去年于拉斯维加斯举行的re: create 2018大会上，亚马逊揭开了SageMaker Neo的面纱。这一框架能够方便开发人员训练机器学习模型，并将其部署到任何他们需要的地方，无论是在云端还是在公司内部。它的效果正如广告所宣传的那样，但它的好处必然仅限于AWS的客户享有——Neo完全是一个封闭的、专有的服务。

但是就在本周，情况有所改变。

亚马逊(Amazon)昨日宣布：将根据Apache软件许可，发布Neo的底层代码，并在GitHub上的一个存储库中免费提供。该公司表示，这一举措将有助于在“广泛的”硬件平台上引入“新的和独立的创新”，第三方处理器供应商、设备制造商、深度学习实践者都将因此获益。

开源地址：https://github.com/neo-ai

“通常，为多个硬件平台优化机器学习模型是困难的，因为开发人员需要为每个平台的硬件和软件配置手动调整模型。”AWS深度学习高级产品经理Sukwon Kim和工程主管Vin Sharma在一篇博客文章中写道：“这对边缘设备来说尤其具有挑战性，因为它们往往在计算能力和存储方面受到限制……新人工智能减少了在多个平台上部署机器学习模型所需的时间和精力。”

Neo-AI 可兼容一系列机器学习框架，包括TensorFlow、MXNet、PyTorch、ONNX和XGBoost，以及来自英特尔(Intel)、英伟达(Nvidia)和Arm的辅助平台(不久将支持 Xilinx、Cadence和Qualcomm等项目)。模型得以优化后不仅能以“两倍于原模型的速度”运行，并且在准确性上“没有损失”，它还可以将模型转换为一种通用格式，从而省去了需要确保给定目标设备上的软件与模型精确匹配的麻烦。

那么它是如何做到这一切的呢？通过使用定制的机器学习编译器和运行时，Amazon声称这是基于对传统编译器技术的“数十年”研究——包括华盛顿大学的TVM和Treelite。该公司表示，本着合作精神，新的项目将主要由Arm、英特尔(Intel)、高通(Qualcomm)、Xilinx、Cadence等公司的贡献推动。

亚马逊表示，处理器供应商可以将定制代码集成到编译器中，以提高模型性能，而设备制造商则可以针对特定的软件和硬件配置定制Neo-AI的运行。据了解，这一框架已经部署在ADLINK、联想(Lenovo)、Leopard Imaging、松下(Panasonic)等公司的设备上。

原文链接

https://venturebeat.com/2019/01/24/amazon-releases-neo-ai-in-open-source-a-framework-for-adapting-machine-learning-models-to-multiple-hardware-platforms/