C版本的-Unet-rknn推理

已于 2024-04-25 17:04:20 修改
阅读量548 收藏 8
点赞数 2
分类专栏： 计算机视觉-C++版本 文章标签： 开发语言 人工智能 c++ 嵌入式硬件
于 2024-03-20 16:32:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43999691/article/details/136880544
版权
文章描述了一位开发者使用rknnC++API加载Unet模型，对图像进行预处理、推理以及后处理的过程，包括加载模型、设置输入、推理输出和结果转换。最后展示了C++版本的执行时间和与Python版本的对比。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. 前言

        之前就想着使用rknn的c版本的api做推理看看，找了一个简单的，那就unet吧，本来想着用rk的demo文件，但是里面是mobilenet，相关的函数没有，卡这也卡了好久，突然发现tengine相关的后处理，拿来用用，终于调试好了！！！(环境自己配置)

2. c代码修改

2.1前处理


    const char* img_path = "/home/ubuntu/npu_test/unet/img/01_test.tif";
    const char* roi_mask_path = "/home/ubuntu/npu_test/unet/img/01_test_mask.png";
    const char *model_path =  "/home/ubuntu/npu_test/unet/model/eyes_unet-sim-3588.rknn";


    // Load ROI mask
    Mat roi_img = imread(roi_mask_path, IMREAD_GRAYSCALE);
    if (roi_img.empty()) {
        cout << "Image not found: " << roi_mask_path << endl;
        return -1;
    }

    // Load image
    Mat original_img = imread(img_path);
    if (original_img.empty()) {
         cout << "Image not found: " << img_path << endl;
        return -1;
    }

    // Convert image to RGB
    cvtColor(original_img, original_img, COLOR_BGR2RGB);

    // Expand batch dimension
    // Mat img = original_img.reshape(1, 1);
    Mat img = original_img;

2.2 rknn的模型加载

const int MODEL_IN_WIDTH = 565;
    const int MODEL_IN_HEIGHT = 584;
    const int MODEL_IN_CHANNELS = 3;


    rknn_context ctx = 0;
    int ret;
    int model_len = 0;
    unsigned char *model;

  // ======================= 初始化RKNN模型 ===================
    model = load_model(model_path, &model_len);
    ret = rknn_init(&ctx, model, model_len, 0, NULL);
    if (ret < 0)
    {
      printf("rknn_init fail! ret=%d\n", ret);
      return -1;
    }


  // ======================= 获取模型输入输出信息 ===================
    rknn_input_output_num io_num;
    ret = rknn_query(ctx, RKNN_QUERY_IN_OUT_NUM, &io_num, sizeof(io_num));
    if (ret != RKNN_SUCC)
    {
      printf("rknn_query fail! ret=%d\n", ret);
      return -1;
    }

    // ======================= 设置模型输入 ===================
    // 使用rknn_input结构体存储模型输入信息, 表示模型的一个数据输入,用来作为参数传入给 rknn_inputs_set 函数
    rknn_input inputs[1];
    memset(inputs, 0, sizeof(inputs));
    inputs[0].index = 0;                                                     // 设置模型输入索引
    inputs[0].type = RKNN_TENSOR_UINT8;                                      // 设置模型输入类型
    inputs[0].size = img.cols * img.rows * img.channels() * sizeof(uint8_t); // 设置模型输入大小
    inputs[0].fmt = RKNN_TENSOR_NHWC;                                        // 设置模型输入格式：NHWC
    inputs[0].buf = img.data;                                                // 设置模型输入数据

    // 使用rknn_inputs_set函数设置模型输入
    ret = rknn_inputs_set(ctx, io_num.n_input, inputs);
    if (ret < 0)
    {
      printf("rknn_input_set fail! ret=%d\n", ret);
      return -1;
    }

    // ======================= 推理 ===================
    printf("rknn_run\n");
    ret = rknn_run(ctx, nullptr);
    if (ret < 0)
    {
      printf("rknn_run fail! ret=%d\n", ret);
      return -1;
    }

    // ======================= 获取模型输出 ===================
    // 使用rknn_output结构体存储模型输出信息
    rknn_output outputs[1];
    memset(outputs, 0, sizeof(outputs));
    outputs[0].want_float = 1;
    // 使用rknn_outputs_get函数获取模型输出
    ret = rknn_outputs_get(ctx, 1, outputs, NULL);
    if (ret < 0)
    {
      printf("rknn_outputs_get fail! ret=%d\n", ret);
      return -1;
    }

2.3 后处理

    float *output_data = (float *)outputs[0].buf;
    Mat changge_result_img = Mat::zeros(roi_img.rows, roi_img.cols, CV_8UC1);
    int index = 0;
    for (int row = 0; row < roi_img.rows; row++) {
        for (int col = 0; col < roi_img.cols; col++) {
            float channel_1 = *(output_data + index);
            float channel_2 = *(output_data + index + roi_img.rows * roi_img.cols);
            uchar roi_pixel = roi_img.at<uchar>(row, col);
            if (channel_1 < channel_2 && roi_pixel != 0) {
                changge_result_img.at<uchar>(row, col) = 255;
            } else {
                changge_result_img.at<uchar>(row, col) = 0;
            }
            index++;
        }
    }

2.4 rknn资源释放

// Release resources
    rknn_outputs_release(ctx, 1, outputs);
    if (ret < 0)
    {
      printf("rknn_outputs_release fail! ret=%d\n", ret);
      return -1;
    }
    else if (ctx > 0)
    {
      // ======================= 释放RKNN模型 ===================
      rknn_destroy(ctx);
    }
    // ======================= 释放模型数据 ===================
    if (model)
    {
      free(model);
    }

 2.5 完整代码

#include <iostream>
#include <opencv2/core/hal/interface.h>
#include <opencv2/opencv.hpp>
#include <opencv2/imgproc.hpp>
#include "rknn_api.h"
#include <chrono>

using namespace std;
using namespace cv;


static unsigned char *load_model(const char *filename, int *model_size)
{
  FILE *fp = fopen(filename, "rb");
  if (fp == nullptr)
  {
    printf("fopen %s fail!\n", filename);
    return NULL;
  }
  fseek(fp, 0, SEEK_END);
  int model_len = ftell(fp);
  unsigned char *model = (unsigned char *)malloc(model_len); // 申请模型大小的内存，返回指针
  fseek(fp, 0, SEEK_SET);
  if (model_len != fread(model, 1, model_len, fp))
  {
    printf("fread %s fail!\n", filename);
    free(model);
    return NULL;
  }
  *model_size = model_len;
  if (fp)
  {
    fclose(fp);
  }
  return model;
}



int main() {
    auto start = std::chrono::high_resolution_clock::now();
    const char* img_path = "/home/ubuntu/npu_test/unet/img/01_test.tif";
    const char* roi_mask_path = "/home/ubuntu/npu_test/unet/img/01_test_mask.png";
    const char *model_path =  "/home/ubuntu/npu_test/unet/model/eyes_unet-sim-3588.rknn";


    // Load ROI mask
    Mat roi_img = imread(roi_mask_path, IMREAD_GRAYSCALE);
    if (roi_img.empty()) {
        cout << "Image not found: " << roi_mask_path << endl;
        return -1;
    }

    // Load image
    Mat original_img = imread(img_path);
    if (original_img.empty()) {
         cout << "Image not found: " << img_path << endl;
        return -1;
    }

    // Convert image to RGB
    cvtColor(original_img, original_img, COLOR_BGR2RGB);

    // Expand batch dimension

    Mat img = original_img;



    rknn_context ctx = 0;
    int ret;
    int model_len = 0;
    unsigned char *model;

  // ======================= 初始化RKNN模型 ===================
    model = load_model(model_path, &model_len);
    ret = rknn_init(&ctx, model, model_len, 0, NULL);
    if (ret < 0)
    {
      printf("rknn_init fail! ret=%d\n", ret);
      return -1;
    }


  // ======================= 获取模型输入输出信息 ===================
    rknn_input_output_num io_num;
    ret = rknn_query(ctx, RKNN_QUERY_IN_OUT_NUM, &io_num, sizeof(io_num));
    if (ret != RKNN_SUCC)
    {
      printf("rknn_query fail! ret=%d\n", ret);
      return -1;
    }

    // ======================= 设置模型输入 ===================
    // 使用rknn_input结构体存储模型输入信息, 表示模型的一个数据输入,用来作为参数传入给 rknn_inputs_set 函数
    rknn_input inputs[1];
    memset(inputs, 0, sizeof(inputs));
    inputs[0].index = 0;                                                     // 设置模型输入索引
    inputs[0].type = RKNN_TENSOR_UINT8;                                      // 设置模型输入类型
    inputs[0].size = img.cols * img.rows * img.channels() * sizeof(uint8_t); // 设置模型输入大小
    inputs[0].fmt = RKNN_TENSOR_NHWC;                                        // 设置模型输入格式：NHWC
    inputs[0].buf = img.data;                                                // 设置模型输入数据

    // 使用rknn_inputs_set函数设置模型输入
    ret = rknn_inputs_set(ctx, io_num.n_input, inputs);
    if (ret < 0)
    {
      printf("rknn_input_set fail! ret=%d\n", ret);
      return -1;
    }

    // ======================= 推理 ===================
    printf("rknn_run\n");
    ret = rknn_run(ctx, nullptr);
    if (ret < 0)
    {
      printf("rknn_run fail! ret=%d\n", ret);
      return -1;
    }

    // ======================= 获取模型输出 ===================
    // 使用rknn_output结构体存储模型输出信息
    rknn_output outputs[1];
    memset(outputs, 0, sizeof(outputs));
    outputs[0].want_float = 1;
    // 使用rknn_outputs_get函数获取模型输出
    ret = rknn_outputs_get(ctx, 1, outputs, NULL);
    if (ret < 0)
    {
      printf("rknn_outputs_get fail! ret=%d\n", ret);
      return -1;
    }

    float *output_data = (float *)outputs[0].buf;
    Mat changge_result_img = Mat::zeros(roi_img.rows, roi_img.cols, CV_8UC1);
    int index = 0;
    for (int row = 0; row < roi_img.rows; row++) {
        for (int col = 0; col < roi_img.cols; col++) {
            float channel_1 = *(output_data + index);
            float channel_2 = *(output_data + index + roi_img.rows * roi_img.cols);
            uchar roi_pixel = roi_img.at<uchar>(row, col);
            if (channel_1 < channel_2 && roi_pixel != 0) {
                changge_result_img.at<uchar>(row, col) = 255;
            } else {
                changge_result_img.at<uchar>(row, col) = 0;
            }
            index++; 
        }
    }

    // Release resources
    rknn_outputs_release(ctx, 1, outputs);
    if (ret < 0)
    {
      printf("rknn_outputs_release fail! ret=%d\n", ret);
      return -1;
    }
    else if (ctx > 0)
    {
      // ======================= 释放RKNN模型 ===================
      rknn_destroy(ctx);
    }
    // ======================= 释放模型数据 ===================
    if (model)
    {
      free(model);
    }
    auto end = std::chrono::high_resolution_clock::now();
    auto duration = std::chrono::duration_cast<std::chrono::milliseconds>(end - start);
    std::cout << "Execution time: " << duration.count() << " milliseconds" << std::endl;
    return 0;
}

        感觉代码还是不优美，很多的for循环看着难受，但是已经实现了，后续再修改吧(后处理修改了)

3. 结果展示

C++的测试结果

time: 497 ms

python的测试结果

time:660ms

各种用于图像分割的Unet模型的实现-Unet，RCNN-Unet，Attention Unet，RCNN-Attention Unet，嵌套Unet-Python开发
05-25
各种Unet模型用于图像分割的实现-Unet，RCNN-Unet，注意力Unet，RCNN-Attention Unet，嵌套式Unet细分Unet细分-Pytorch-Nest-of-Unets各种Unet模型用于图像分割的实现UNet- U-Net：用于生物医学图像分割的卷积网络https://arxiv.org/abs/1505.04597 RCNN-UNet-基于U-Net的递归残差卷积神经网络（R2U-Net）用于医学图像分割https：// arxiv。 org / abs / 1802.06955 Attention Unet-Attention U-Net：学习在哪里寻找胰腺https://arxiv.org/abs/1804.03999 RCNN-Attentio
SmaAt-UNet:论文“ SmaAt-UNet的PyTorch代码
05-09
SmaAt-UNet 论文代码“ SmaAt-UNet：使用小型体系结构进行降水临近预报” ， 建议的SmaAt-UNet可以在下的模型文件夹中。 在本文中，我们使用了模块（PL），该模块简化了培训过程，并允许轻松添加记录器和创建检查...
RKNN_C++版本-YOLOV5
最新发布
weixin_43999691的博客
01-23 922
为了实现低延时，所以开始看看C版本的rknn的使用，确实有不足的地方，请指正（代码借鉴了rk官方的仓库文件）。
手搓ZLMediakit实现推流拉流系列扩展（RKNN C++推理流程）
m0_46303486的博客
06-18 1830
在使用 ZLMediaKit 并结合RK MPP解码模块后，相对得到的视频帧进行深度学习模型推理（本文以YOLO系列为主介绍），在推理之前，有必要先了解一下RKNN使用C++推理的流程。此外，为了方便之后项目的扩展，建议将RKNN推理库封装成一个类（仅供参考）。
UNET-RKNN分割眼底血管
weixin_43999691的博客
04-13 1487
Unet眼底血管的分割
模型部署——RKNN模型的评估和推理测试（附代码）
qq_40280673的博客
02-25 9043
RKNN模型的评估和推理测试
rk3399pro部署unet
http://www.icfgblog.com/
09-05 1980
最近参与一个项目，需要利用unet做焊点检测，unet最终要部署在Rockchip的rk3399pro嵌入式系统里，该系统内部有神经网路加速器，但需要先转成.rknn的格式。 RK3399Pro NPU Manual提供了入门指导，里面的RKNN toolkit 包含了样例和转换工具。我的unet版本是参考github头像匹配的pytorch版本。 一、出师不利 样例提供了torchvision上resnet_18的python版本，能够成功转成rknn格式，代码如下： import numpy as np
SA-UNet:SA-UNet的开源代码
05-04
概述 ... 我们报告DRIVE和CHASE DB1数据集的最新性能。 布达佩斯技术经济大学（CME）的郭长禄（Changlu Guo）编写的代码。 我们在Ubuntu 16.04上进行培训和评估，它也适用于Windows和OS。 数据集 ...
Swin-Unet pytorch代码
05-01
1. Swin Transformer：Swin Transformer是ViT（Vision Transformer）的一种改进版本，由Facebook AI Research提出。它引入了窗口内的自注意力机制，解决了Transformer在处理大型图像时的计算效率问题，同时保持了对...
Transformer-Unet:使用变压器编码器的Unet实现
03-05
Transformer-Unet是一种深度学习模型，它是经典卷积神经网络（CNN）架构Unet与Transformer组件的结合。Transformer在自然语言处理领域取得了巨大成功，而Unet则是图像分割任务中的首选模型。将Transformer引入到Unet...
瑞芯微 rk3568的npu使用，部署unet网络
tony365的博客
12-19 5626
模型转换是 RKNN-Toolkit2 的核心功能之一，它允许用户将各种深度学习模型从不同的框架转换为 RKNN 格式以在 RKNPU 上运行，用户可以参考模型转换流程图以帮助理解如何进行模型转换。因此如下图，输入的 uint8的image data, 然后归一化到0-1，因为设置了 outputs[0].want_float=1,然后model infer 得到 float data,范围 0-1. 以上全在 npu中进行，也就是全在rknn_run中进行，因为使用的时零拷贝 api.
C++环境下onnxruntime推理自定义模型
m0_57254760的博客
04-29 5210
代码是一个使用ONNX Runtime C++ API执行图像处理任务的示例，具体来说是通过一个预训练的U-Net模型（假设）对输入图像进行某种形式的语义分割
unet图像分割_200229 UNet 分割网络搭建、训练和推理 (Keras+OpenVino+TfLite)
weixin_39969143的博客
12-15 438
原创文章，禁止转载。本文地址： Knight：200229 UNet 分割网络搭建、训练和推理UNet 分割网络是 2015 年诞生的医学图像卷积分割网络，特点是 U 形的编解码(encode-decode) 结构和跨层跳连接接 (skip-connection)，类似于FPN很够融合不同尺度/深度的图像特征，将低分辨率的粗略分割与高分辨率的精细分割结合起来，获得不错的分割结果。题图是借鉴了 U...
如何使用rknn部署算法
weixin_35751194的博客
01-10 450
首先，需要在计算机上安装RKNN工具，并且确保已经安装好了RKNN SDK。 然后，你需要将你的模型转换成RKNN格式。这可以通过在终端中使用rknn-toolkit来完成，如下所示： rknn-toolkit convert -f tensorflow -m model.pb -o rknn_model.rknn 在这个例子中，"model.pb" 是你的TensorFlow模型，"rknn_...
Yolov5目标检测+Unet多类别分割C++(onnx联合部署)详细教程
低调猫熊的博客
07-15 4927
这篇主要内容就是yolo目标检测网络和Unet语义分割网络的联合C++部署。用到yolo主要是为了节省Unet部分的计算资源和分割精度，因为检测框会将非目标物删除，这样分割网络只需分割目标框内的二维信息即可。
RKNN语法-C++篇
dongdonglele521的博客
03-14 1911
8. rknn_outputs_release()释放输出数据内存；6. rknn_outputs_get()获取推理结果数据；2. rknn_query()查询模型的输入输出属性；4. rknn_inputs_set()设置输入数据；9. rknn_destroy()销毁 RKNN；1. rknn_init()初始化模型；5. rknn_run()进行模型推理；RKNN C++调用流程。3. 对输入进行前处理；7. 对输出进行后处理；
RKNPU2从入门到实践 ---- 【9】使用RKNPU2的C API接口将RKNN模型部署在RK3588开发板上
xinxin的博客
08-30 2825
本博文我们要学习使用 RKNPU2 提供的 C API 接口将RKNN模型部署在RK3588开发板上，完成测试图片在开发板上的推理工作。C API接口可以根据帧数据的更新方式分为通用API和零拷贝API。而这一篇博文主要介绍通用 API 接口。rknn_init 初始化函数将创建 rknn_context 对象、加载 RKNN 模型以及根据 flag 和 rknn _init_extend 结构体执行特定的初始化行为。示例代码如下：通过 rknn_inputs_set 函数可以设置模型的输入数据。
RKNN_SSD Demo的学习笔记
sunyFS的博客
08-05 6276
结合代码更容易理解！ RKNN API调用流程： 通过该API去调用NPU(神经网络计算单元),在JNI文件里面. input包括相片和一些数据,output则是ssd nms处理的目标. 1.读取rknn模型文件(使用RKNN模型工具生成的.rknn文件,打在res/raw/ssd.rknn)到内存 2.使用rknn_init进行context初始化,加载rknn模型 3.使用rknn_quer...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

呆呆珝

您的打赏是我的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值