模型部署——RKNN C API开发板上落地部署RKNN模型（附代码 详细图文教程）

欢迎学习RKNN系列相关文章，从模型转换、精度分析，评估到部署，推荐好资源：
一、Ubuntu系统上安装rknn-toolkit
二、使用rknn-toolkit将Pytorch模型转为RKNN模型
三、RKNN模型的评估和推理测试
四、RKNN模型量化精度分析及混合量化提高精度
五、RKNN模型性能评估和内存评估
六、rknn-toolkit-lite2部署RKNN模型到开发板上（python版）
七、RKNN C API开发板上落地部署RKNN模型
八、RKNN零拷贝API开发板落地部署RKNN模型

---

一、源码包准备

官网提供的开发文档和demo代码链接为：RKNN C API

本教程配套的源码包获取方法文章末扫码到公众号「视觉研坊」中回复关键字：RKNN C API部署RKNN模型。获取下载链接。

下载解压后的样子如下：

RKNN模型在跟目录下的model文件夹中，还有测试图片，如下：

关于RKNN C API的详细使用说明，都在源码包中的开发文档中。

RKNN C API不同硬件平台支持如下：

二、测试CMake工程构建

在Ubuntu系统中打开我提供的源码包中example文件，我自己使用的是VScode编译软件。如何在Ubuntu系统中安装VScode软件，推荐教程：Linux上安装VScode软件

2.1 拷贝交叉编译器

在编辑器中打开example文件夹中的build.sh文件，如下：

注意上面build.sh文件中的GCC_COMPILER参数，需要将交叉编译器的路径拷贝到此处，下面是将我提供源码包中Cross compiler文件夹下的压缩文件拷贝到arm64文件夹下，具体如下：

拷贝完后使用下面命令进行解压,，如下：

tar -vxf gcc-arm-10.3-2021.07-x86_64-aarch64-none-linux-gnu.tar.gz

解压后得到的文件如下：

2.2 CMake构建的配置文件

CMake构建的配置文件如下，下面框起来的部分都不用修改，保持默认：

2.3 运行构建脚本

上面都准备好后，进入到example目录下，运行构建脚步，如下：

./build.sh

2.4 CMake构建结果

下面是运行上面脚本后的结果，在example目录下生成了builed和install两个文件夹，如下：

三、添加第三方库

3.1 添加rknn_api库

先按下快捷键ctrl+shift+p打开搜索框，输入编辑配置，点击c/c++:编辑配置(JSON)，如下：

打开后是一个c_cpp_properties.json文件，将源码包中3rdparty/librknn_api/include的路径复制到此文件中，复制后ctrl+s保存，如下：

3.2 添加opencv库

同上在c_cpp_properties.json文件中，添加opencv文件夹下的include文件夹路径，记得保存，如下：

四、推理主文件

推理主文件为源码包resnet18/src目录下的main.cc脚本，此脚本中我写了很详细的注释。

4.1 修改项目名

在正式构建前需要先修改CMakeLists.txt文件下的project参数，如下：

4.2 推理主文件代码

下面代码对应源码包中的main.cc脚步，具体代码如下：

#include <stdio.h>
#include "rknn_api.h"
#include "opencv2/core/core.hpp"
#include "opencv2/imgcodecs.hpp"
#include "opencv2/imgproc.hpp"
#include <string.h>

using namespace cv;   //将命名空间，CV中的所有成员变量引入到当前的空间中

static int rknn_GetTop(float* pfProb, float* pfMaxProb, uint32_t* pMaxClass, uint32_t outputCount, uint32_t topNum)
{
  uint32_t i, j;

#define MAX_TOP_NUM 20
  if (topNum > MAX_TOP_NUM)
    return 0;

  memset(pfMaxProb, 0, sizeof(float) * topNum);
  memset(pMaxClass, 0xff, sizeof(float) * topNum);

  for (j = 0; j < topNum; j++) {
    for (i = 0; i < outputCount; i++) {
      if ((i == *(pMaxClass + 0)) || (i == *(pMaxClass + 1)) || (i == *(pMaxClass + 2)) || (i == *(pMaxClass + 3)) ||
          (i == *(pMaxClass + 4))) {
        continue;
      }

      if (pfProb[i] > *(pfMaxProb + j)) {
        *(pfMaxProb + j) = pfProb[i];
        *(pMaxClass + j) = i;
      }
    }
  }

  return 1;
}

int main(int argc,char *argv[])              //创建主函数
{
  /*要求程序传入的第一个参数为RKNN模型，第二个参数为要推理的图片*/
  char *model_path = argv[1];
  char *image_path = argv[2];

  /*调用rknn_init接口将RKNN模型的运行环境和相关信息赋予到context变量中*/
  rknn_context context;
  rknn_init(&context,model_path,0,0,NULL);   // 第一个参数为上面的context地址

  /*使用opencv读取要推理的图像数据*/
  cv::Mat img = cv::imread(image_path);
  cv::cvtColor(img,img,cv::COLOR_BGR2RGB);

  /*调佣rknn_query接口查询tensor输入输出个数*/
  rknn_input_output_num io_num;
  rknn_query(context,RKNN_QUERY_IN_OUT_NUM,&io_num,sizeof(io_num));
  printf("model input num:%d,output num:%d\n",io_num.n_input,io_num.n_output);

  /*调用rknn_inputs_set接口设置输入数据*/
  rknn_input input[1];                        //输入数组为1
  memset(input,0,sizeof(rknn_input));//使用memset格式化结构体变量  将input中的成员变量都设置为0
  input[0].index = 0;                         //对该结构体中的成员变量进行填写
  input[0].buf = img.data;                    // 设置输入数据指针 
  input[0].size = img.rows * img.cols * img.channels() * sizeof(uint8_t);//设置输入大小，即图片长宽    sizeof(uint8_t)表示所占的字节数
  input[0].pass_through = 0;                  //表示数据输入后会进行均值化，归一化，量化等预处理操作
  input[0].type = RKNN_TENSOR_UINT8;          //设置输入的数据类型
  input[0].fmt = RKNN_TENSOR_NHWC;            //设置输入的数据格式
  rknn_inputs_set(context,1,input);           //第一个参数为rknn context对象，第二个参数为输入数据的个数，第三个参数为上面定义的input结构体变量

  /*调用rknn_run接口进行模型推理*/
  rknn_run(context,NULL);                     // 第一个参数为rknn context对象，第二个参数为扩展参数。

  /*调用rknn_outputs_get接口获取模型推理结果*/    // 推理结果会存放到output中的buf中
  rknn_output output[1];                      // 定义一个rknn_output结构体变量    由于rknn模型的输出只有一个，所以数组数量为1
  memset(output,0,sizeof(rknn_output));       // 使用memset初始化结构体  下面时设置结构体成员变量
  output[0].index = 0;
  output[0].is_prealloc = 0;                  //表示有rknn来分配输出数据buff的存放
  output[0].want_float = 1;                   //表示将输出数据转换为浮点类型
  rknn_outputs_get(context,1,output,NULL);    // 第一个参数为context对象，第二个参数为输出数据的格式，第三个参数为output结构体变量，第四个参数为扩展参数

  // Post Process   后处理
  for (int i = 0; i < io_num.n_output; i++)   // 打印推理前5名的类别
  {
    uint32_t MaxClass[5];
    float    fMaxProb[5];
    float*   buffer = (float*)output[i].buf;
    uint32_t sz     = output[i].size / 4;

    rknn_GetTop(buffer, fMaxProb, MaxClass, sz, 5);

    printf(" --- Top5 ---\n");
    for (int i = 0; i < 5; i++) {
      printf("%3d: %8.6f\n", MaxClass[i], fMaxProb[i]);
    }
  }

  /*调用rknn_outputs_release接口释放推理输出相关的资源*/
  rknn_outputs_release(context,1,output);

  /*调用rknn_destory接口销毁context变量*/
  rknn_destroy(context);

  return 0;

}

4.3 C API解析

上面代码中用到的C API接口详细说明见下。

4.3.1 rknn_init

4.3.2 rknn_query

4.3.3 rknn_inputs_set

4.3.4 rknn_run

rknn_run函数将执行一次模型推理，调用之前需要先通过rknn_inputs_set 函数或者零拷贝的接口设置输入数据。

4.3.5 rknn_outputs_get

4.4 CMake构建

在终端进入到resnet18目录下，运行build.sh脚本，如下：

4.5 构建结果

运行上面build.sh后，在resnet18目录下生成了buile和install两个文件，关于这两个文件的详细解析，见上面2.4。

五、开发板上部署

5.1 程序文件发送

通过上面的操作，已经得到最终的install文件夹，现需要将install文件夹拷贝到开发板上，可以通过优盘拷贝，也可以通过命令发送，命令发送方式见下。

先通过rknn_server连通开发板，连通后用过adb将install文件发送到开发板的根目录上。

adb push install /

5.2 进入开发板终端

发送完程序文件后通过下面命令，直接进入开发板的可视化终端：

adb shell

5.3 执行程序

在开发板上进入到install目录下，执行下面命令运行推理程序，执行程序时需要通过命令方式传入三个参数，第一个是要执行的程序，第二个是RKNN模型路径，第三个是测试图片路径。

resnet18 model/RK3588/resnet18.rknn ./model/space_shuttle_224.jpg

5.4 程序运行结果

运行上面程序后，输出如下所示：

对照imagenet1000标签.txt文件，可以看出，推理结果正确，如下：

六、总结

以上就是RKNN C API开发板上落地部署RKNN模型的详细流程，希望能帮到你快速上手！

总结不易，多多支持！

感谢您阅读到最后！关注公众号「视觉研坊」，获取干货教程、实战案例、技术解答、行业资讯！