模型部署——RKNN模型性能评估和内存评估（附代码）

欢迎学习RKNN系列相关文章，从模型转换、精度分析，评估到部署，推荐好资源：
一、Ubuntu系统上安装rknn-toolkit
二、使用rknn-toolkit将Pytorch模型转为RKNN模型
三、RKNN模型的评估和推理测试
四、RKNN模型量化精度分析及混合量化提高精度
五、RKNN模型性能评估和内存评估
六、rknn-toolkit-lite2部署RKNN模型到开发板上（python版）
七、RKNN C API开发板上落地部署RKNN模型
八、RKNN零拷贝API开发板落地部署RKNN模型

---

一、源码包获取

配套教程提供的RKNN模型在源码包中，获取源码包的方法为文章末扫码到公众号中回复关键字：RKNN模型性能和内存评估。获取下载链接。

下载解压后的样子如下：

二、模型性能评估

2.1 模型性能评估API说明

RKNN模型性能的评估主要调用的接口是rknn.eval_perf()，关于此API的说明见下：

2.2 模型性能评估流程

具体的模型性能评估流程如下：

下面是直接读入RKNN模型：

2.3 代码

from rknn.api import RKNN

if __name__ == "__main__":
    rknn = RKNN()

    # 使用load_rknn接口导入RKNN模型
    rknn.load_rknn(path="./resnet18.rknn")

    # 使用init_runtime接口初始化运行环境
    rknn.init_runtime(
        # target = None,
        target="rk3588",
        perf_debug = True,          # 表示是否开启性能评估的Debug模式
        eval_mem = False,            # 表示是否是内存评估
    )

    # 使用eval_perf接口进行性能评估
    rknn.eval_perf(
        inputs = ["space_shuttle_224.jpg"],    # 表示要测试的图片
        data_format=None,                      # 表示要推理的数据模式
        is_print = True,                       # 表示使能打印性能信息

    )

    rknn.release()

2.4 输出结果

下面是输出的各项参数：

三、模型内存评估

3.1 模型内存评估API说明

RKNN模型内存的评估主要调用的接口是rknn.eval_memory()，关于此API的说明见下：

3.2 模型内存评估流程

3.3 代码

from rknn.api import RKNN

if __name__ == "__main__":
    rknn = RKNN()

    # 使用load_rknn接口导入RKNN模型
    rknn.load_rknn(path="./resnet18.rknn")

    # 使用init_runtime接口初始化运行环境
    rknn.init_runtime(
        # target = None,
        target="rk3588",
        perf_debug = True,          # 表示是否开启性能评估的Debug模式
        eval_mem = True,            # 表示是否是内存评估
    )

    # 使用eval_memory接口进行内存评估
    rknn.eval_memory(
        is_print=True,   # 表示使能打印内存评估信息
    )

    rknn.release()

3.4 模型内存评估结果

运行上面脚本后得到的输出如下：

四、总结

以上就是RKNN模型性能评估和内存评估的API说明，代码和输出结果各参数解析，更多的资料参考官网文档。

总结不易，多多支持，谢谢！