支持各硬件平台的机器学习模型 AWS发表新开源项目

AWS发表新开源项目Neo-AI，该项目源自于Amazon SageMaker机器学习服务中的ML模型自动优化功能「Amazon SageMaker Neo」，以协助处理器业者、装置制造商、深度学习开发人员打造可支持各种硬件平台的机器学习模型。

AWS所提供的Amazon SageMaker服务，能协助开发人员或数据科学家快速建立、训练与部署机器学习模型，而Amazon SageMaker Neo则是SageMaker服务的一项功能，只要训练一次就能以优化效能在云端或其它硬件平台上运作。

AWS解释，平常要优化一个机器学习模型以让它适用于不同的硬件平台并不容易，开发人员必须针对每一个硬件平台与软件配置手动调整模型，对边缘装置而言则更具挑战性，因为这类装置不管是在运算能力或储存空间上都有所限制，开发人员可能需要深入了解硬件，或者具备罕见的专业知识，就算两者兼备，有鉴于好的工具并不容易取得，还必须经过大量测试才能达到良好效能。

而软件上的差异更让优化难上加难，假设装置上的软件与模型上的版本不同，模型与装置将不兼容，又再度限制了开发人员可进行优化的装置。

AWS宣称Neo-AI可减少调整机器学习模型以部署于不同平台的力气，藉由自动优化TensorFlow、MXNet、PyTorch、ONNX与XGBoost等模型，在不丧失精确性的情况下，让其执行速度达到原始模型的两倍；此外，它还能将朕亨公益爱心模型转换为高效通用格式，以解决软件兼容性问题。

Neo-AI亦允许复杂的模型在资源有限的装置上执行，能释放自驾车、家庭安全或异常检测等领域的创新能力，它目前支持来自英特尔、Nvidia与Arm的平台，并即将支持Xilinx、Cadence及Qualcomm。

Neo-AI的本质是个机器学习编译程序，处理器制造商可将程序代码整合到编译程序上以改善模型效能，装置制造商则能根据装置的软/硬件配置客制化Neo-AI的运行环境，Neo-AI项目将汲取不同来源的创新，打造一个通用的编译程序与运行环境，以带来各种模型的最佳效能。