AI端侧部署：模型跑起来、跑得快、持续跑

应用

边缘计算

BML

全功能开发平台

技术难点

硬件适配难

专业，消费，嵌入式

不同端侧设备的特点

不同框架的模型适配，转换成中间的模型

框架细节对齐，参数取整问题

算子融合和扩展

支持芯片、平台、各种框架

跑得快并且降低精度

模型性能优化

模型压缩

模型量化

剪枝蒸馏

组合性能优化

压缩调度，不同的网络结构已经形成一定的机制，网络算子已经数据库化

应用的考虑，成本，泛化能力快速迭代

数据回流的闭环，人工着重关注难例分析

SDK优化

端侧部署优化


按需部署

jetson设备软硬一体化部署

三大产品对比

设备端高性能本地GPU优化，tensorrt

实战案例流程