今天,Adlik Deer版本(V0.4.0)发布啦!
本次的新版本中,可以看到Adlik最近一段时间的许多技术探索,对优化器来说有集成蒸馏、Zen-NAS优化等;推理引擎也更易用、支持更多硬件和推理运行时。针对Bert的模型推理优化,Adlik使用Ansor来搜索全局最优的张量调度方案,为动态输入的推理提供了专用调度器,在x86 CPU上能达到比OpenVINO更高的吞吐量。
欢迎大家体验试用新版本哦,用Adlik实现模型推理性能的飞跃。
Compiler
Adlik编译器支持OpenVINO INT8量化
Adlik编译器支持TensorRT INT8量化,支持扩展量化校准器,降低引入量化带来的精度下降
Optimizer
支持集成蒸馏方式,使用多教师网络进行蒸馏优化
支持ZEN-NAS搜索增强特性,包括并行训练,搜索加速优化,修复原有实现bug等,在搜索时间下降15%左右情况下,搜索Score略有提升,搜索到的模型训练精度提升0.2%~1%
Inference Engine
支持Paddle Inference Runtime,使用Paddle模型时无需再通过Onnx组件转换,直接可以在Adlik环境上运行推理。
支持Intel TGL-U i5 设备推理,完成多模型支持验证,提交Benchmark
云原生镜像发布0.4版本,支持引擎各组件最新版本:
(1) OpenVINO:2021.4.582版本
(2) TensorFlow:2.6.2
(3) TensorRT:7.2.1.6
(4) Tf-lite:2.4.0
(5) TVM:0.7
(6) Paddle Inference:2.1.2
新增C++版本Client API,支持cmake和bazel方式编译,方便用户在C/C++场景应用部署。
Benchmark Test
在Intel TGL-U i5 设备完成Resnet-50,Yolo v3/v4,FastRCNN,MaskRCNN等模型Benchmark测试,包括时延,吞吐量,以及GPU/CPU视频解码下的各种性能指标。
Adlik等你来关注!
Adlik Github
Adlik交流群