感谢大家一直以来对Adlik的关注。6月21号,Adlik Eagle版本(V0.5.0)发布啦。
总的来说,Eagle版本有三个关键词:技术创新、社区合作、用户易用性。
这里列出一些highlight:优化器使用蒸馏和量化技术对YOLOv5模型进行了针对性的优化,使其性能提升近2.5倍;编译器增加了oneflow到onnx的编译支持;Adlik对BERT系列模型进行优化,在Intel 8260 CPU环境进行标准化测试,推理性能得到了极大提升;引擎新增了torch运行时。除了优化器、编译器和推理引擎这三大模块,Adlik还建立了专门的模型仓库(Model Zoo),用以存放Adlik优化、编译和推理过程使用和输出的模型,供用户取用。
本次版本发布的特性有:
Optimizer:
支持YOLOv5s模型的量化和蒸馏,在Intel CPU上使用OpenVINO引擎进行推理,性能提升近2.5倍
Model Zoo:
新增仓库,存放Adlik优化、编译好的模型, 包括Resnet系列模型,YOLOv5系列模型。
Compiler:
支持oneflow到onnx的编译路径
支持OpenVINO升级到2022.1.0版本
Inference Engine:
支持torch运行时
支持OpenVINO升级到2022.1.0版本
Benchmark Test
在Intel 8260 CPU环境上完成BERT模型的标准化测试,包括吞吐量等性能指标
欢迎大家试用新版本!同时,下一个版本的规划也即将开展,不要忘记参与哦,求关注、求反馈、求社区贡献,请大家三连支持~
最后,指路新版本:
https://github.com/Adlik/Adlik/releases/tag/v0.5.0