OpenHarmony 实战开发——OpenCV应用样例开发

最新推荐文章于 2024-10-27 21:53:38 发布
最新推荐文章于 2024-10-27 21:53:38 发布
阅读量1.4k 收藏 9
点赞数 6
分类专栏： 移动开发 鸿蒙开发 OpenHarmony 文章标签： opencv 计算机视觉 harmonyos openharmony HarmonyOS 移动开发 硬件开发
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_70748458/article/details/138585370
版权
鸿蒙开发 同时被 3 个专栏收录
578 篇文章 24 订阅
订阅专栏
OpenHarmony
536 篇文章 10 订阅
订阅专栏
移动开发
425 篇文章 3 订阅
订阅专栏

背景

OpenCV 介绍

OpenCV（Open Source Computer Vision Library）是一个开源的计算机视觉和机器学习软件库。它由一系列的 C 函数和少量 C++ 类构成，同时提供 Python、Java 和 MATLAB 等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。

OpenCV 具有极广的应用领域，它包括但不限于：

  • 人脸识别和物体识别：这是 OpenCV 的一项重要功能，应用在许多领域，如安全监控、交互设计等。
  • 图像和视频分析：如图像增强、图像分割、视频跟踪等。
  • 图像合成和 3D 重建：在图像处理和计算机视觉领域，OpenCV 可以用于创建 AR 或 VR 效果，生成 3D 模型等。
  • 机器学习：OpenCV 内置了大量的机器学习算法，可以用于图像分类、聚类等任务。
  • 深度学习：OpenCV 中的 dnn 模块提供了一系列深度学习模型的接口，用户可以加载预训练模型进行图像识别、目标检测等任务。

本文主要介绍 OpenHarmony 如何用 opencvlib 进行应用样例开发

应用开发

创建 HAP
  • 通过 DevEcoStudio 创建项目“File->New->Create Project"创建一个工程

  • 工程创建完毕后，界面入口为 Index.ets

引用 OpenCV lib 库
  • 引入 opencv 头文件库，放在 include 目录下

  • 引入 lib 库，放在 libs 目录下

  • 修改 CMAKE

  • 增加 common 头文件和 cpp 文件
    //
    // Created on 2024/3/5.
    //
    // Node APIs are not fully supported. To solve the compilation error of the interface cannot be found,
    // please include "napi/native_api.h".

    #ifndef OpencvSample_common_H
    #define OpencvSample_common_H

    #include <string>
    #include <stdio.h>
    #include <js_native_api.h>
    #include <js_native_api_types.h>
    #include <vector>
    #include "opencv2/opencv.hpp"
    #include "opencv2/imgcodecs/legacy/constants_c.h"
    #include "hilog/log.h"
    #include "napi/native_api.h"
    #include "rawfile/raw_file_manager.h"
    #include "rawfile/raw_file.h"
    #include "rawfile/raw_dir.h"

    #define GLOBAL_RESMGR (0xFFEE)
    constexpr int32_t RGB_565 = 2;
    constexpr int32_t RGBA_8888 = 3;

    constexpr int32_t STR_MAX_SIZE = 200;
    constexpr int32_t LONG_STR_MAX_SIZE = 1024;
    constexpr int32_t ERR_OK = 0;
    constexpr int8_t NO_ERROR = 0;
    constexpr int8_t ERROR = -1;
    constexpr uint8_t PARAM0 = 0;
    constexpr uint8_t PARAM1 = 1;
    constexpr uint8_t PARAM2 = 2;
    constexpr uint8_t PARAM3 = 3;
    constexpr uint8_t PARAM4 = 4;
    constexpr uint8_t PARAM5 = 5;
    constexpr uint8_t PARAM6 = 6;
    constexpr uint8_t PARAM7 = 7;
    constexpr uint8_t PARAM8 = 8;
    constexpr uint8_t PARAM9 = 9;
    constexpr uint8_t PARAM10 = 10;
    constexpr uint8_t PARAM11 = 11;
    constexpr uint8_t PARAM12 = 12;

    constexpr int32_t ARGS_ONE = 1;
    constexpr int32_t ARGS_TWO = 2;
    constexpr int32_t ONLY_CALLBACK_MAX_PARA = 1;
    constexpr int32_t ONLY_CALLBACK_MIN_PARA = 0;

    struct CallbackPromiseInfo {
        napi_ref callback = nullptr;
        napi_deferred deferred = nullptr;
        bool isCallback = false;
        int32_t errorCode = 0;
    };

    template <typename T> void FreeMemory(T *p) {
        if (p == nullptr) {
            return;
        }
        delete p;
        p = nullptr;
    }

    template <typename T> void FreeMemoryArray(T *p) {
        if (p == nullptr) {
            return;
        }
        delete[] p;
        p = nullptr;
    }
    #define NAPI_RETVAL_NOTHING
    #define NAPI_CALL_BASE(env, theCall, retVal)                                                                           \
        do {                                                                                                               \
            if ((theCall) != 0) {                                                                                          \
                return retVal;                                                                                             \
            }                                                                                                              \
        } while (0)

    #define NAPI_CALL(env, theCall) NAPI_CALL_BASE(env, theCall, nullptr)
    #define NAPI_CALL_RETURN_VOID(env, theCall) NAPI_CALL_BASE(env, theCall, NAPI_RETVAL_NOTHING)

    extern bool GetMatFromRawFile(napi_env env, napi_value jsResMgr, const std::string &rawfileDir,
                                  const std::string &fileName, cv::Mat &srcImage);
    extern bool cvtMat2Pixel(cv::InputArray _src, cv::OutputArray &_dst, int code);
    extern napi_value NapiGetNull(napi_env env);
    extern uint32_t GetMatDataBuffSize(const cv::Mat &mat);
    extern bool CreateArrayBuffer(napi_env env, uint8_t *src, size_t srcLen, napi_value *res);
    extern napi_value NapiGetUndefined(napi_env env);
    extern napi_value GetCallbackErrorValue(napi_env env, int32_t errCode);
    extern napi_value NapiGetBoolean(napi_env env, const bool &isValue);
    extern uint32_t GetMatDataBuffSize(const cv::Mat &mat);
    extern void SetCallback(const napi_env &env, const napi_ref &callbackIn, const int32_t &errorCode,
                            const napi_value &result);
    extern void SetPromise(const napi_env &env, const napi_deferred &deferred, const int32_t &errorCode,
                           const napi_value &result);
    extern void ReturnCallbackPromise(const napi_env &env, const CallbackPromiseInfo &info, const napi_value &result);
    extern napi_value JSParaError(const napi_env &env, const napi_ref &callback);
    extern void PaddingCallbackPromiseInfo(const napi_env &env, const napi_ref &callback, CallbackPromiseInfo &info,
                                           napi_value &promise);
    extern bool WrapJsPixelInfoInfo(napi_env env, cv::Mat &outMat, napi_value &result);

    #endif //OpencvSample_common_H
  • 增加灰度转换方法
    using namespace std;
    using namespace cv;
    static const char *TAG = "[opencv_img2Gray]";

    napi_value Img2Gray(napi_env env, napi_callback_info info) {
        OH_LOG_Print(LOG_APP, LOG_INFO, GLOBAL_RESMGR, TAG, "Img2Gray Begin");
        napi_value result = NapiGetNull(env);
        size_t argc = 3;
        napi_value argv[3] = {nullptr};

        napi_get_cb_info(env, info, &argc, argv, nullptr, nullptr);

        size_t strSize;
        char strBuf[256];
        napi_get_value_string_utf8(env, argv[1], strBuf, sizeof(strBuf), &strSize);
        std::string fileDir(strBuf, strSize);
        OH_LOG_Print(LOG_APP, LOG_INFO, GLOBAL_RESMGR, TAG, "fileDir：%{public}s", fileDir.c_str());

        napi_get_value_string_utf8(env, argv[2], strBuf, sizeof(strBuf), &strSize);
        std::string fileName(strBuf, strSize);
        OH_LOG_Print(LOG_APP, LOG_INFO, GLOBAL_RESMGR, TAG, "fileName：%{public}s", fileName.c_str());

        Mat srcImage;
        if (!GetMatFromRawFile(env, argv[0], fileDir, fileName, srcImage)) {
            OH_LOG_Print(LOG_APP, LOG_ERROR, GLOBAL_RESMGR, TAG, "Get Mat from rawfile failed!.");
            return result;
        }

        Mat srcGray;
        cvtColor(srcImage, srcGray, COLOR_RGB2GRAY);

        // 將图像转换为pixelMap格式
        Mat outMat;
        cvtMat2Pixel(srcGray, outMat, RGBA_8888);
        OH_LOG_Print(LOG_APP, LOG_INFO, GLOBAL_RESMGR, TAG, "outMat size: %{public}d, cols：%{public}d, rows：%{public}d",
                     outMat.total(), outMat.cols, outMat.rows);

        napi_create_object(env, &result);
        bool retVal = WrapJsPixelInfoInfo(env, outMat, result);
        if (!retVal) {
            OH_LOG_Print(LOG_APP, LOG_ERROR, GLOBAL_RESMGR, TAG, "WrapJsInfo failed!.");
        }

        return result;
    }
  • 导出 //hello.cpp
    EXTERN_C_START
    static napi_value Init(napi_env env, napi_value exports)
    {
        napi_property_descriptor desc[] = {
            {"add", nullptr, Add, nullptr, nullptr, nullptr, napi_default, nullptr},
            {"img2Gray", nullptr, Img2Gray, nullptr, nullptr, nullptr, napi_default, nullptr}
        };
        napi_define_properties(env, exports, sizeof(desc) / sizeof(desc[0]), desc);
        return exports;
    }
    EXTERN_C_END
  • 导出接口 //index.d.ts
    import resourceManager from '@ohos.resourceManager';

    export interface PixelInfo {
      rows: number;
      cols: number;
      buffSize: number;
      byteBuffer: ArrayBuffer;
    }

    export const add: (a: number, b: number) => number;
    export const img2Gray: (resmgr: resourceManager.ResourceManager, path: string, file: string) => PixelInfo;
  • 在页面添加交互 // index.ets
    Column() {
      Image(this.isGray ? this.imagePixelMap : $rawfile('lena.jpg'))
        .margin({ left: 24, right: 24 })
        .objectFit(ImageFit.Contain)
        .id('backBtn')
      }
      .width('100%')
      .height('60%')
      .alignItems(HorizontalAlign.Center)
      .justifyContent(FlexAlign.Start)

      Row() {
        Button($r('app.string.image_gray'), { type: ButtonType.Capsule })
          .backgroundColor(this.isGray ? Color.Gray : Color.Blue)
          .margin({ left: 24 })
          .width('30%')
          .id('imageGray')
          .enabled(this.isGray ? false : true)
          .onClick(() => {
            let pixelInfo: testNapi.PixelInfo = testNapi.img2Gray(getContext().resourceManager, '', 'lena.jpg');
            Logger.info(TAG, `pixelInfo buffSize: ${pixelInfo.buffSize}`);

            let opts: image.InitializationOptions = {
              editable: true,
              pixelFormat: this.pixelMapFormat,
              size: { height: pixelInfo.rows, width: pixelInfo.cols }
            }
            image.createPixelMap(pixelInfo.byteBuffer, opts, (error, pixelmap) => {
              if (error) {
                Logger.error(TAG, `Failed to create pixelmap error_code ${error.code}`);
              } else {
                Logger.info(TAG, 'Succeeded in creating pixelmap.');
                this.imagePixelMap = pixelmap;
              }
            })
            this.isGray = true;
        })

        Button($r('app.string.image_recover'), { type: ButtonType.Capsule })
          .backgroundColor(Color.Blue)
          .width('30%')
          .id('imageRecover')
          .onClick(() => {
            this.isGray = false;
          })
        }
        .width('100%')
  • 展示

总结

  • 可以用 nativec++ 方式导入 opencv 库直接开发应用，目前实现了一个简单接口，后面会实现场景应用

  • 目前只能做到可用，还有以下问题：

    • 需要 NAPI 接口进行 ArkTS 和 C/C++ 交互
    • 速度比较慢，是否可以通过 GPU 加速
    • Arkts 和 native 交互多，考虑转用 xcomponent 方式

为了能让大家更好的学习鸿蒙（HarmonyOS NEXT）开发技术，这边特意整理了《鸿蒙开发学习手册》（共计890页），希望对大家有所帮助：https://qr21.cn/FV7h05

《鸿蒙开发学习手册》：

如何快速入门：https://qr21.cn/FV7h05

  1. 基本概念
  2. 构建第一个ArkTS应用
  3. ……

开发基础知识：https://qr21.cn/FV7h05

  1. 应用基础知识
  2. 配置文件
  3. 应用数据管理
  4. 应用安全管理
  5. 应用隐私保护
  6. 三方应用调用管控机制
  7. 资源分类与访问
  8. 学习ArkTS语言
  9. ……

基于ArkTS 开发：https://qr21.cn/FV7h05

  1. Ability开发
  2. UI开发
  3. 公共事件与通知
  4. 窗口管理
  5. 媒体
  6. 安全
  7. 网络与链接
  8. 电话服务
  9. 数据管理
  10. 后台任务(Background Task)管理
  11. 设备管理
  12. 设备使用信息统计
  13. DFX
  14. 国际化开发
  15. 折叠屏系列
  16. ……

鸿蒙开发面试真题（含参考答案）：https://qr18.cn/F781PH

鸿蒙开发面试大盘集篇（共计319页）：https://qr18.cn/F781PH

1.项目开发必备面试题
2.性能优化方向
3.架构方向
4.鸿蒙开发系统底层方向
5.鸿蒙音视频开发方向
6.鸿蒙车载开发方向
7.鸿蒙南向开发方向

愿天堂没有996
关注
专栏目录
OpenCV-Python实战（1）——OpenCV简介与图像处理基础
盼小辉丶的博客
08-10 22万+
OpenCV 是一个的跨平台计算机视觉库，可以运行在 Linux、Windows 和 Mac OS 操作系统上。它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成，同时也提供了 Python 接口，实现了图像处理和计算机视觉方面的很多通用算法。在本文中，将介绍 OpenCV 库，包括它的主要模块和典型应用场景，同时使用 OpenCV-Python 实战讲解图像处理基础要点。
OpenCV实战（1）——OpenCV与图像处理基础
热门推荐
盼小辉丶的博客
10-24 6万+
OpenCV 是一个跨平台计算机视觉和机器学习库，实现了图像处理和计算机视觉方面的很多通用算法。本节将介绍 OpenCV 的基础知识，以及如何编译运行 OpenCV 程序，并介绍如何完成最基本的图像处理任务——读取、显示和保存图像。除此之外，鼠标事件和图形绘制也是 OpenCV 计算机视觉项目中常用的基本功能，本节介绍了如何使用这两个重要的 OpenCV 功能。
OpenHarmony OpenCV应用样例开发
m0_64420071的博客
03-29 2092
本文主要介绍 OpenHarmony 如何用 opencvlib 进行应用样例开发
Opencv实战项目
06-24
Opencv29个经典项目编程，让你从初学者到实际开发者的经验
鸿蒙5.0版开发：使用HiLog打印日志（C/C++）
m0_73088370的博客
09-18 1073
HiLog日志系统，提供给系统框架、服务、以及应用，用于打印日志，记录用户操作、系统运行状态等。
OpenCV项目实战
qq_57251314的博客
11-27 2947
一、将手机当做摄像头和opencv连接 1.首先在手机上下载【ip摄像头】 2. #include <iostream> #include<opencv2/highgui.hpp>; #include<opencv2/imgcodecs.hpp>; #include<opencv2/imgproc.hpp>; #include <opencv2/objdetect.hpp>; using namespace cv; using .
重磅升级，52个Python+OpenCV实战项目教你掌握图像处理
小白学视觉
02-01 1365
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达近期小白学视觉公众号推出了多篇Python+OpenCV实战项目的文章，深受小伙伴们的喜爱。最近有小...
OpenHarmony4.1成功移植OpenCV手把手
weixin_64726009的博客
07-17 1106
Step by step移植OpenCV到OpenHarmony
OpenHarmony 实战开发——多功能OLED屏幕开发样例
m0_70748458的博客
04-28 1139
此样例演示如何在Pegasus Wi-Fi IoT智能家居套件上使用SSD 1306库驱动OLED屏。如果你觉得这篇内容对你还蛮有帮助，我想邀请你帮我三个小忙：关注小编，同时可以期待后续文章ing🚀，不定期分享原创知识。
OpenCV实战（33）——OpenCV与深度学习的碰撞
盼小辉丶的博客
10-10 1万+
在本文中，我们首先通过 cv2::dnn::blobFromImage() 和 cv2::dnn::blobFromImages() 函数了解了如何在 OpenCV 中构建网络输入 blob，然后通过实战学习将流行的深度学习模型架构应用于目标检测任务中，构建 OpenCV 计算机视觉项目。
【OpenCV实战】这是我看过最详细的计算机视觉小项目，基于OpenCV进行长时间曝光，学到了~（赶紧收藏）
TZ45678的博客
04-01 841
在本文中，我们将学习长时间曝光摄影技术，以及如何使用Python和OpenCV（开源计算机视觉库）对其进行仿真。
opencv实例源代码(近20个例子)
03-20
图像视频编码，C/C++
OpenCV官方示例程序(含C++和C版)
04-16
OpenCV官方示例程序(含C++和C版)
应用opencv库项目(Visual Studio,c++)的14个不同计算机视觉开发项目实践源码
10-20
资源含有14个基于opencv库，牵涉到计算机视觉各个方面的开发项目源码；适用于opencv的初学者，或者想通过实践进一步提高计算机视觉开发能力的开发者。项目都是可以编译通过的，注释讲解详实且均为中文版，便于初学者学习。希望该资源对您有用！
OpenCV自带例子总结
02-03
..\opencv\sources\samples\cpp里有很多OpenCV自带的例子。本记事本总结了每个例子的功能。不全，欢迎补充。
大数据最全openCV实战项目--人脸考勤_javaopencv人脸识别考勤，2024年最新大数据开发开发手册
2401_84186067的博客
05-11 488
这里与上面流程相似，不过是加了一个对比功能，距离小于阈值，则表示匹配成功。(这里我默认是faceCount=3，Interval=3，即每3秒采集一次，共3次）这里加入了注册成功等的提示，且把一些变量放到了全局，因为后面人脸识别打卡时也会用到。之后，我们根据参数，即faceCount 和 Interval 进行。
opencv实战项目 手势识别-手势控制键盘
weixin_45303602的博客
08-12 2463
手势识别是一种人机交互技术，通过识别人的手势动作，从而实现对计算机、智能手机、智能电视等设备的操作和控制。1.2.3.4.opencv实战项目 手势识别-手势控制键盘未完待续本专栏记录作者的学习之旅会一直更新下去，欢迎订阅一起学习进步本项目是使用了谷歌开源的框架，里面有非常多的模型提供给我们使用，例如面部检测，身体检测，手部检测等代码需要用到HandTraqckModule模块 mediapipe模块和一个键盘控制模块pynput。
OpenHarmony南向设备开发：OpenCV应用样例开发
最新发布
初一十五的博客
10-27 880
本文主要介绍 OpenHarmony 如何用 opencvlib 进行应用样例开发
OpenCV与AI深度学习｜16个含源码和数据集的计算机视觉实战项目(建议收藏！)
csdn_xmj的博客
04-10 1万+
本文将分享16个含源码和数据集的计算机视觉实战项目。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值