Adlik Deer版本发布,模型推理加速就靠它啦

今天,Adlik Deer版本(V0.4.0)发布啦!

4b64679691fce555127b6c6ecc268d6b.png

本次的新版本中,可以看到Adlik最近一段时间的许多技术探索,对优化器来说有集成蒸馏、Zen-NAS优化等;推理引擎也更易用、支持更多硬件和推理运行时。针对Bert的模型推理优化,Adlik使用Ansor来搜索全局最优的张量调度方案,为动态输入的推理提供了专用调度器,在x86 CPU上能达到比OpenVINO更高的吞吐量。

欢迎大家体验试用新版本哦,用Adlik实现模型推理性能的飞跃。

Compiler

  1. Adlik编译器支持OpenVINO INT8量化

  2. Adlik编译器支持TensorRT INT8量化,支持扩展量化校准器,降低引入量化带来的精度下降

Optimizer

  1. 支持集成蒸馏方式,使用多教师网络进行蒸馏优化

  2. 支持ZEN-NAS搜索增强特性,包括并行训练,搜索加速优化,修复原有实现bug等,在搜索时间下降15%左右情况下,搜索Score略有提升,搜索到的模型训练精度提升0.2%~1%

Inference Engine

  1. 支持Paddle Inference Runtime,使用Paddle模型时无需再通过Onnx组件转换,直接可以在Adlik环境上运行推理。

  2. 支持Intel TGL-U i5 设备推理,完成多模型支持验证,提交Benchmark

  3. 云原生镜像发布0.4版本,支持引擎各组件最新版本:

    (1) OpenVINO:2021.4.582版本

    (2) TensorFlow:2.6.2

    (3) TensorRT:7.2.1.6

    (4) Tf-lite:2.4.0

    (5) TVM:0.7

    (6) Paddle Inference:2.1.2

  4. 新增C++版本Client API,支持cmake和bazel方式编译,方便用户在C/C++场景应用部署。

Benchmark Test

在Intel TGL-U i5 设备完成Resnet-50,Yolo v3/v4,FastRCNN,MaskRCNN等模型Benchmark测试,包括时延,吞吐量,以及GPU/CPU视频解码下的各种性能指标。

Adlik等你来关注!

d41fd8ad4b094c060382e4c46b899aa9.png

Adlik Github

5e4af5fb75fdf5e2f9e06f9c9f31ee1b.png

Adlik交流群

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值