RK3399Pro AI平台解决方案介绍
1.概况
2.NPU
3.应用开发
4.demo
一、概况
rk3399pro是瑞芯微新出来的带NPU的ARM芯片,NPU的算力实测达到了3.0TOPS,如此强大的计算能力,jetson nano的计算能力是0.47TFlops,两个单位有区别,只能用实际的网络计算来比较二者的算力。
RK3399Pro 基本框图:
CPU,NPU,GPU,VPU,ISP.Memory, Interface, Package
RK3399Pro 主要特点:
强大NPU算力的完整AI平台:
1. AI算力强,最高3.0TOPS
2. 多媒体处理性能强大
3. 接口丰富
4. 基础系统软硬件成熟、稳定
5. 支持Android/Linux系统
RK3399Pro NPU特性:
- 满负荷算力强,轻载运算功耗低
- 模型兼容性强,可支持多类型框架,支持主流层类型,易于添加自定义层,支持INT16/FP16
- 开发工具易用,PC端可完成模型转换、性能预估、精度验证
- 无缝升级,与RK3399 AndroidNN/LinuxNN兼容
INT8可满足绝大部分需求
RK3399Pro 功耗指标:
- CPU回归本位,运行系统及应用,正常功耗
- GPU回归本位,图形渲染,正常功耗
- NPU功耗小于1.5W,视不同模型而定
RK3399Pro NPU运算性能对比:
RK3399Pro AI应用开发流程
开发工具:
1.模型快速转换
2.仿真运行初步评估性能及精度
3.联机运行调试功能及验证最终精度
更推荐在TF上面
应用开发接口:
1.支持Android NN API
2.提供RKNN跨平台API
3.提供应用开发模板
RK3399Pro 典型应用:端侧AI设备方案
NDDR 32bit—> NPU
RK3399Pro 典型应用:端侧AI网关/服务器方案
RK3399Pro 应用案例
SDK demo 人体骨骼示例应用
14关键点 多人 12帧 单人20多帧
RK3399单独的NPU就可以了,不需要GPU