文章来源:ATYUN AI平台
在Microsoft Connect 2018开发者大会上,微软对Azure和IoT Edge服务进行了大量更新,微软免费提供ONNX Runtime,一种用于ONNX格式的AI模型的推理引擎。
微软在开源代码中提供了大量框架和引擎。第一个是开放式神经网络交换(ONNX)Runtime,这是一种用于ONNX格式的机器学习模型的高性能推理引擎。
它可从GitHub上获取,可以自定义并直接集成到现有代码库中,或者从源代码编译,在Windows 10,Linux和各种其他操作系统上运行。
ONNX对于深度学习模型来说,是一种platform-agnostic格式,可以实现开源AI框架之间的互操作性,例如谷歌的TensorFlow,微软的Cognitive Toolkit,Facebook的Caffe2和Apache的MXNet。微软,AWS和Facebook在大约一年前于2017年9月联合发布了应用,亚马逊,Nvidia,英特尔和AMD等公司正在对其进行积极的开发。
微软公司副总裁Eric Boyd表示,Bing Search,Bing Ads内部团队,以及已纳入ONNX Runtime的Office团队发现AI模型的性能是原生的两倍,在某些情况下更高一些。他补充说,它也已被纳入其他微软产品,包括Windows ML和ML.NET。
他表示,“随着ONNX Runtime开源,我们鼓励大家积极使用它,它可以在嵌入式空间,Windows和Linux上运行,它极大地简化了开发人员的工作。”
也许更重要的是,它得到了更广泛的ONNX社区的支持。英特尔和微软正在合作将nGraph编译器集成,作为ONNX Runtime的执行提供程序。Nvidia正在帮助整合TensorRT,高通公司表示了对此技术的支持。
高通AI产品管理高级总监Gary Brotman表示,“ONNX Runtime将进一步推动跨多个设备类别的框架互操作性,标准化和性能优化,我们希望在Snapdragon移动平台上支持ONNX Runtime,能使开发人员感到便利。
资源:github.com/microsoft/onnxruntime
本文转自ATYUN人工智能媒体平台,原文链接:微软开源用于AI模型的推理引擎ONNX Runtime
更多推荐
研究人员开发行人跟踪算法DensePeds,速度提高了4.5倍
Drive.ai将永久关闭并解雇90名员工,苹果收购并接收部分工程师
沃尔玛在1000多家门店使用AI摄像头监控结账情况,减少漏检或盗窃