今天Adlik的新版本Cheetah如约而至。相较于上个版本,我们做了很多优化,在MLPerf的测试中有不错的表现。看看下面的新特性,哪个是你感兴趣的呢?快来下载体验,期待你的反馈哦。
模型编译器Model Compiler
Adlik编译器扩展支持多种新的深度学习框架,包括PaddlePaddle,Caffe,和MxNet
Adlik编译器目标模型格式,扩展支持PaddlePaddle,TVM等
编译器支持OpenVINO量化
支持TVM自动搜索,通过重新规划调度模板,采用全局自动调度搜索方案,对Resnet50模型进行优化,推理时延在X86 CPU下略优于OpenVINO(基于MLPerf测试结果)
模型优化器Model optimizer
Yolo v4模型优化
Resnet-50最新剪枝,蒸馏,量化等优化,模型大小压缩93%,精度76%,推理时延1.33ms(MLPerf测试),8核推理比原始模型提升5.0x,单核提升10.7x
推理引擎Inference Engine
支持TVM TF-TRT 运行时
云原生镜像发布0.3版本,支持引擎各组件最新版本:
OpenVINO:2021.1.110版本
TensorFlow:2.4.0
TensorRT:7.2.1.6
TFLite:2.4.0
TVM:0.7
Benchmark Test
支持Paddle的性能测试,包括Paddle OCR,PP-yolo,PPresnet-50
想了解更多细节,扫描进入Adlik Github代码库,点亮star不迷路。