RV1808/1126使用RKNN作为MediaPipe推理后端开发步骤及ONNX转RKNN模型

目录

1 基于RKNN推理后端集成

1.1 依赖库配置

1.2    添加计算单元Calculators

1.3    增加rknn后端调用接口

1.4    增加计算图 

1.5    增加动态库生成规则

1.6    编译 

 1.7    运行配置

 1.7.1 基于opencv的resize配置

1.7.2 基于rag的resize配置 

2 RKNN模型转换 

---

1 基于RKNN推理后端集成

        RKNN SDK为RK1808等带有NPU 的平台提供编程接口,能够帮助用户部署使用RKNN-Toolkit导出的RKNN模型,加速AI应用的落地。
        瑞芯微RV1126平台上已经基于Tengine推理后端实现了NPU的推理，但是由于Tengine为第三方开发的适配NPU的推理库，在性能等方面优化不足。而RKNN则是瑞芯微自带的推理加速库，在性能优化方面做得更好。
        为了能够将RKNN作为推理后端集成到MediaPipe框架中，需要添加rknn相关的计算单元实现集成。

1.1 依赖库配置

        基于rknn后端推理的集成需要增加3个依赖库：rknn、rga和drm三个库。
        1） rknn依赖库
        此库为RNKK SDK动态库，使用此库才能实现NPU的推理计算。集成配置如下：
                a）在MediaPipe的third_par