Adlik Bear版本发布啦！

时隔五个月，Adlik新版本又一次和大家见面啦。来看看这次有什么新特性吧！

新编译器Model Compiler 2

• 支持以各模型表达方式和模型端到端编译的目标，形成DAG图，自动完成图搜索过程，寻找最优的编译路径

• • 源模型文件支持: H5, Ckpt, Pb, Pth, Onnx 以及 SavedModel

  • 目标模型文件支持：: SavedModel, OpenVINO IR, TensorRT Plan 以及 Tflite

• 集成模型量化特性，在TfLite和TensorRT运行时支持量化模型的推理执行

• • TfLite：支持 int8 量化模型执行

  • TensorRT：支持int8 和fp16 两种量化模型执行

推理引擎Inference Engine

• 支持机器学习、深度学习推理作业混合调度，是首家同时支持运行机器学习和深度学习的轻量化实时AI推理引擎，已集成在中兴基站产品中，完成了应用测试。

• 编译器和推理引擎支持以云原生镜像方式，部署到云原生环境，极大程度方便了用户使用Adlik各组件功能

• 目前在以下云环境完成了部署和功能测试：

• • 原生docker（nvidia dockers）云环境（版本：19.03.12）

  • K8s 云环境（版本：1.13）

• 支持在树莓派和JetsonNano上运行

• 支持引擎各组件最新版本：

• • OpenVINO 2021.1.110版本

  • TensorFlow 2.3.1版本

Benchmark Test

• 支持多种模型在多种Adlik支持的运行时下的性能测试：

  	ResNet-50	Inception V3	Yolo V3	Bert
  Tf GPU	√	√	√
  Tf CPU	√	√	√
  TensorRT	√	√	√
  OpenVINO	√	√
  TFLite	√	√		√

快去GitHub下载体验吧！任何建议和需求都欢迎砸过来哦！