【鸿蒙南向开发】OpenHarmony OpenCV应用样例开发

于 2024-07-23 20:29:11 发布
阅读量806 收藏 14
点赞数 27
分类专栏： 安卓 前端 鸿蒙 文章标签： harmonyos opencv 华为 android 鸿蒙 前端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HarmonyOS_666/article/details/140645457
版权
安卓 同时被 3 个专栏收录
71 篇文章 0 订阅
订阅专栏
前端
71 篇文章 0 订阅
订阅专栏
鸿蒙
71 篇文章 0 订阅
订阅专栏

前言

OpenCV 介绍

OpenCV（Open Source Computer Vision Library）是一个开源的计算机视觉和机器学习软件库。它由一系列的 C 函数和少量 C++ 类构成，同时提供 Python、Java 和 MATLAB 等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。

OpenCV 具有极广的应用领域，它包括但不限于：

●人脸识别和物体识别：这是 OpenCV 的一项重要功能，应用在许多领域，如安全监控、交互设计等。
●图像和视频分析：如图像增强、图像分割、视频跟踪等。
●图像合成和 3D 重建：在图像处理和计算机视觉领域，OpenCV 可以用于创建 AR 或 VR 效果，生成 3D 模型等。
●机器学习：OpenCV 内置了大量的机器学习算法，可以用于图像分类、聚类等任务。
●深度学习：OpenCV 中的 dnn 模块提供了一系列深度学习模型的接口，用户可以加载预训练模型进行图像识别、目标检测等任务。
本文主要介绍 OpenHarmony 如何用 opencvlib 进行应用样例开发

应用开发

创建 HAP

通过 DevEcoStudio 创建项目“File->New->Create Project"创建一个工程
在这里插入图片描述

工程创建完毕后，界面入口为 Index.ets

在这里插入图片描述

引用 OpenCV lib 库
引入 opencv 头文件库，放在 include 目录下

在这里插入图片描述

引入 lib 库，放在 libs 目录下

在这里插入图片描述

修改 CMAKE

在这里插入图片描述

增加 common 头文件和 cpp 文件

//
// Created on 2024/3/5.
//
// Node APIs are not fully supported. To solve the compilation error of the interface cannot be found,
// please include "napi/native_api.h".

#ifndef OpencvSample_common_H
#define OpencvSample_common_H

#include <string>
#include <stdio.h>
#include <js_native_api.h>
#include <js_native_api_types.h>
#include <vector>
#include "opencv2/opencv.hpp"
#include "opencv2/imgcodecs/legacy/constants_c.h"
#include "hilog/log.h"
#include "napi/native_api.h"
#include "rawfile/raw_file_manager.h"
#include "rawfile/raw_file.h"
#include "rawfile/raw_dir.h"

#define GLOBAL_RESMGR (0xFFEE)
constexpr int32_t RGB_565 = 2;
constexpr int32_t RGBA_8888 = 3;

constexpr int32_t STR_MAX_SIZE = 200;
constexpr int32_t LONG_STR_MAX_SIZE = 1024;
constexpr int32_t ERR_OK = 0;
constexpr int8_t NO_ERROR = 0;
constexpr int8_t ERROR = -1;
constexpr uint8_t PARAM0 = 0;
constexpr uint8_t PARAM1 = 1;
constexpr uint8_t PARAM2 = 2;
constexpr uint8_t PARAM3 = 3;
constexpr uint8_t PARAM4 = 4;
constexpr uint8_t PARAM5 = 5;
constexpr uint8_t PARAM6 = 6;
constexpr uint8_t PARAM7 = 7;
constexpr uint8_t PARAM8 = 8;
constexpr uint8_t PARAM9 = 9;
constexpr uint8_t PARAM10 = 10;
constexpr uint8_t PARAM11 = 11;
constexpr uint8_t PARAM12 = 12;

constexpr int32_t ARGS_ONE = 1;
constexpr int32_t ARGS_TWO = 2;
constexpr int32_t ONLY_CALLBACK_MAX_PARA = 1;
constexpr int32_t ONLY_CALLBACK_MIN_PARA = 0;

struct CallbackPromiseInfo {
    napi_ref callback = nullptr;
    napi_deferred deferred = nullptr;
    bool isCallback = false;
    int32_t errorCode = 0;
};

template <typename T> void FreeMemory(T *p) {
    if (p == nullptr) {
        return;
    }
    delete p;
    p = nullptr;
}

template <typename T> void FreeMemoryArray(T *p) {
    if (p == nullptr) {
        return;
    }
    delete[] p;
    p = nullptr;
}
#define NAPI_RETVAL_NOTHING
#define NAPI_CALL_BASE(env, theCall, retVal)                                                                           \
    do {                                                                                                               \
        if ((theCall) != 0) {                                                                                          \
            return retVal;                                                                                             \
        }                                                                                                              \
    } while (0)

#define NAPI_CALL(env, theCall) NAPI_CALL_BASE(env, theCall, nullptr)
#define NAPI_CALL_RETURN_VOID(env, theCall) NAPI_CALL_BASE(env, theCall, NAPI_RETVAL_NOTHING)

extern bool GetMatFromRawFile(napi_env env, napi_value jsResMgr, const std::string &rawfileDir,
                              const std::string &fileName, cv::Mat &srcImage);
extern bool cvtMat2Pixel(cv::InputArray _src, cv::OutputArray &_dst, int code);
extern napi_value NapiGetNull(napi_env env);
extern uint32_t GetMatDataBuffSize(const cv::Mat &mat);
extern bool CreateArrayBuffer(napi_env env, uint8_t *src, size_t srcLen, napi_value *res);
extern napi_value NapiGetUndefined(napi_env env);
extern napi_value GetCallbackErrorValue(napi_env env, int32_t errCode);
extern napi_value NapiGetBoolean(napi_env env, const bool &isValue);
extern uint32_t GetMatDataBuffSize(const cv::Mat &mat);
extern void SetCallback(const napi_env &env, const napi_ref &callbackIn, const int32_t &errorCode,
                        const napi_value &result);
extern void SetPromise(const napi_env &env, const napi_deferred &deferred, const int32_t &errorCode,
                       const napi_value &result);
extern void ReturnCallbackPromise(const napi_env &env, const CallbackPromiseInfo &info, const napi_value &result);
extern napi_value JSParaError(const napi_env &env, const napi_ref &callback);
extern void PaddingCallbackPromiseInfo(const napi_env &env, const napi_ref &callback, CallbackPromiseInfo &info,
                                       napi_value &promise);
extern bool WrapJsPixelInfoInfo(napi_env env, cv::Mat &outMat, napi_value &result);

#endif //OpencvSample_common_H

​
增加灰度转换方法

using namespace std;
using namespace cv;
static const char *TAG = "[opencv_img2Gray]";

napi_value Img2Gray(napi_env env, napi_callback_info info) {
    OH_LOG_Print(LOG_APP, LOG_INFO, GLOBAL_RESMGR, TAG, "Img2Gray Begin");
    napi_value result = NapiGetNull(env);
    size_t argc = 3;
    napi_value argv[3] = {nullptr};

    napi_get_cb_info(env, info, &argc, argv, nullptr, nullptr);

    size_t strSize;
    char strBuf[256];
    napi_get_value_string_utf8(env, argv[1], strBuf, sizeof(strBuf), &strSize);
    std::string fileDir(strBuf, strSize);
    OH_LOG_Print(LOG_APP, LOG_INFO, GLOBAL_RESMGR, TAG, "fileDir：%{public}s", fileDir.c_str());

    napi_get_value_string_utf8(env, argv[2], strBuf, sizeof(strBuf), &strSize);
    std::string fileName(strBuf, strSize);
    OH_LOG_Print(LOG_APP, LOG_INFO, GLOBAL_RESMGR, TAG, "fileName：%{public}s", fileName.c_str());

    Mat srcImage;
    if (!GetMatFromRawFile(env, argv[0], fileDir, fileName, srcImage)) {
        OH_LOG_Print(LOG_APP, LOG_ERROR, GLOBAL_RESMGR, TAG, "Get Mat from rawfile failed!.");
        return result;
    }

    Mat srcGray;
    cvtColor(srcImage, srcGray, COLOR_RGB2GRAY);

    // 將图像转换为pixelMap格式
    Mat outMat;
    cvtMat2Pixel(srcGray, outMat, RGBA_8888);
    OH_LOG_Print(LOG_APP, LOG_INFO, GLOBAL_RESMGR, TAG, "outMat size: %{public}d, cols：%{public}d, rows：%{public}d",
                 outMat.total(), outMat.cols, outMat.rows);

    napi_create_object(env, &result);
    bool retVal = WrapJsPixelInfoInfo(env, outMat, result);
    if (!retVal) {
        OH_LOG_Print(LOG_APP, LOG_ERROR, GLOBAL_RESMGR, TAG, "WrapJsInfo failed!.");
    }

    return result;
}
​
导出 //hello.cpp

EXTERN_C_START
static napi_value Init(napi_env env, napi_value exports)
{
    napi_property_descriptor desc[] = {
        {"add", nullptr, Add, nullptr, nullptr, nullptr, napi_default, nullptr},
        {"img2Gray", nullptr, Img2Gray, nullptr, nullptr, nullptr, napi_default, nullptr}
    };
    napi_define_properties(env, exports, sizeof(desc) / sizeof(desc[0]), desc);
    return exports;
}
EXTERN_C_END
​
导出接口 //index.d.ts

import resourceManager from '@ohos.resourceManager';

export interface PixelInfo {
  rows: number;
  cols: number;
  buffSize: number;
  byteBuffer: ArrayBuffer;
}

export const add: (a: number, b: number) => number;
export const img2Gray: (resmgr: resourceManager.ResourceManager, path: string, file: string) => PixelInfo;
​```
在页面添加交互 // index.ets

Column() {
Image(this.isGray ? this.imagePixelMap : $rawfile(‘lena.jpg’))
.margin({ left: 24, right: 24 })
.objectFit(ImageFit.Contain)
.id(‘backBtn’)
}
.width(‘100%’)
.height(‘60%’)
.alignItems(HorizontalAlign.Center)
.justifyContent(FlexAlign.Start)

Row() {
Button($r(‘app.string.image_gray’), { type: ButtonType.Capsule })
.backgroundColor(this.isGray ? Color.Gray : Color.Blue)
.margin({ left: 24 })
.width(‘30%’)
.id(‘imageGray’)
.enabled(this.isGray ? false : true)
.onClick(() => {
let pixelInfo: testNapi.PixelInfo = testNapi.img2Gray(getContext().resourceManager, ‘’, ‘lena.jpg’);
Logger.info(TAG, pixelInfo buffSize: ${pixelInfo.buffSize});

    let opts: image.InitializationOptions = {
      editable: true,
      pixelFormat: this.pixelMapFormat,
      size: { height: pixelInfo.rows, width: pixelInfo.cols }
    }
    image.createPixelMap(pixelInfo.byteBuffer, opts, (error, pixelmap) => {
      if (error) {
        Logger.error(TAG, `Failed to create pixelmap error_code ${error.code}`);
      } else {
        Logger.info(TAG, 'Succeeded in creating pixelmap.');
        this.imagePixelMap = pixelmap;
      }
    })
    this.isGray = true;
})

Button($r('app.string.image_recover'), { type: ButtonType.Capsule })
  .backgroundColor(Color.Blue)
  .width('30%')
  .id('imageRecover')
  .onClick(() => {
    this.isGray = false;
  })
}
.width('100%')

​

展示

在这里插入图片描述

总结

可以用 nativec++ 方式导入 opencv 库直接开发应用，目前实现了一个简单接口，后面会实现场景应用

目前只能做到可用，还有以下问题：

●需要 NAPI 接口进行 ArkTS 和 C/C++ 交互
●速度比较慢，是否可以通过 GPU 加速
●Arkts 和 native 交互多，考虑转用 xcomponent 方式

写在最后

有很多小伙伴不知道学习哪些鸿蒙开发技术？不知道需要重点掌握哪些鸿蒙应用开发知识点？而且学习时频繁踩坑，最终浪费大量时间。所以有一份实用的鸿蒙（HarmonyOS NEXT）文档用来跟着学习是非常有必要的。

这份鸿蒙（HarmonyOS NEXT）文档包含了鸿蒙开发必掌握的核心知识要点，内容包含了（ArkTS、ArkUI开发组件、Stage模型、多端部署、分布式应用开发、音频、视频、WebGL、OpenHarmony多媒体技术、Napi组件、OpenHarmony内核、OpenHarmony南向开发、鸿蒙项目实战等等）鸿蒙（HarmonyOS NEXT）技术知识点。

希望这一份鸿蒙学习文档能够给大家带来帮助，有需要的小伙伴自行领取，限时开源，先到先得~无套路领取！！

获取这份完整版高清学习路线，请点击→纯血版全套鸿蒙HarmonyOS学习文档

鸿蒙（HarmonyOS NEXT）5.0最新学习路线

在这里插入图片描述

有了路线图，怎么能没有学习文档呢，小编也准备了一份联合鸿蒙官方发布笔记整理收纳的一套系统性的鸿蒙（OpenHarmony ）学习手册（共计1236页）与鸿蒙（OpenHarmony ）开发入门教学视频，内容包含：ArkTS、ArkUI、Web开发、应用模型、资源分类…等知识点。

获取以上完整版高清学习路线，请点击→纯血版全套鸿蒙HarmonyOS学习文档

《鸿蒙 (OpenHarmony)开发入门教学视频》

在这里插入图片描述

《鸿蒙生态应用开发V3.0白皮书》

在这里插入图片描述

《鸿蒙 (OpenHarmony)开发基础到实战手册》

OpenHarmony北向、南向开发环境搭建

在这里插入图片描述

《鸿蒙开发基础》

●ArkTS语言
●安装DevEco Studio
●运用你的第一个ArkTS应用
●ArkUI声明式UI开发
.……
在这里插入图片描述

《鸿蒙开发进阶》

●Stage模型入门
●网络管理
●数据管理
●电话服务
●分布式应用开发
●通知与窗口管理
●多媒体技术
●安全技能
●任务管理
●WebGL
●国际化开发
●应用测试
●DFX面向未来设计
●鸿蒙系统移植和裁剪定制
……
在这里插入图片描述

《鸿蒙进阶实战》

●ArkTS实践
●UIAbility应用
●网络案例
……
在这里插入图片描述

获取以上完整鸿蒙HarmonyOS学习文档，请点击→纯血版全套鸿蒙HarmonyOS学习文档

鸿蒙初辟梦创道远
关注
  • 27
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
如何在OpenHarmony上使用SeetaFace2人脸识别库？
OpenHarmony_dev的博客
08-22 1825
相信大部分同学们都已了解或接触过OpenAtom OpenHarmony（以下简称“OpenHarmony”）了，但你一定没在OpenHarmony上实现过人脸识别功能，跟着本文带你快速在OpenHarmony标准设备上基于SeetaFace2和OpenCV实现人脸识别。本项目实现了导入人脸模型、人脸框选和人脸识别三大功能，操作流程如下：1. 录入页面点击右下角按钮，跳转拍摄页面进行拍照；2. 选择一张或多张人脸作为训练模型，并设置对应的名字；3. 选择一张未录入的人脸图片，点击框选按钮实现人脸图片框选功能
OpenHarmony OpenCV应用样例开发
m0_64420071的博客
03-29 1771
本文主要介绍 OpenHarmony 如何用 opencvlib 进行应用样例开发
谈谈如何使用 opencv 进行图像识别
热门推荐
Testerhomee的博客
04-25 1万+
原文由hakaboom发表于TesterHome社区，点击原文链接可与作者直接交流。 1）前言 从18年开始,我接触了叉叉助手(平台已经被请喝茶了),通过图色识别,用来给常玩的游戏写挂机脚本,写了也有两三年.也算是我转行当游戏测试的理由. 去年11月,也是用了这身技术,混进了外包,薪资还不错,属于是混日子了,岗位是在发行,接触到很多游戏,因为接不了poco,到手只有apk, 日积月累,游戏越来越多,项目组却还是只有这点人.为了减轻自己的压力,就开始了UI自动化的不归路. 2）游戏UI自动化 因为游戏引擎.
三步就能在OpenHarmony中实现车牌识别
1
04-12 626
EasyPR 实现是基于 OpenCV 实现，因此实现 EasyPR 首先得移植 OpenCV。在停车场景中二维码识别与车牌识别共用同一份拍照代码 ，为提高二维码识别率在拍照初始化时须将分辨率设置为 1280*720。进行拍照后会进入拍照数据处理，当 s_runAi 为 false 说明是二维码识别，直接调用二维码识别接口即可。前文大致概括了 OpenCV 和 EasyPR 的移植步骤，更详细的关于环境搭建、烧录以及项目源码构建的步骤，请查看参考文章本地车牌识别。
DAYU200鸿蒙开发板（RK3568）安装rknn_toolkit_lite2并运行demo
weixin_43843938的博客
02-28 3107
搭建开发板算法平台
learning-opencv.zip_Computer Vision_Open应用开发_opencv视觉开发
09-23
循着计算机视觉这一主线， OpenCV 当之无愧地成为我们感兴趣的焦点。作为一个跨平台的计算机视觉库， OpenCV...它包含 500 多个算法、文档和范例代码，广泛应用于实时 图像处理 、 计算机视觉 和 模式识别 程序的开发。
用OpenCV和Vivado HLS加速基于Zynq SoC的嵌入式视觉应用开发
08-29
《用OpenCV和Vivado HLS加速基于Zynq SoC的嵌入式视觉应用开发》 嵌入式视觉技术，作为一个成熟的科研领域，已经深入到我们日常生活的各个角落，如自动驾驶汽车、智能游戏设备、自动吸尘器和手势识别手机等。随着...
Opencv应用开发实战-CamManager模拟相机读取文件
最新发布
07-08
Opencv应用开发实战----CamManager模拟相机读取文件
OpenCV4.5.3离线版手册，OpenCV开发快捷查询
10-02
OpenCV4.5.3手册，离线可查阅
Android Studio中配置OpenCV库开发环境的教程
01-06
samples目录中存放着若干opencv应用示例（包括人脸检测等），可为我们进行android下的opencv开发提供参考；doc目录为opencv类库的使用说明及api文档等；而apk目录则存放着对应于各内核版本的OpenCV_2.4.3.2_Manager_...
2024年鸿蒙最全【OpenCV】图像上绘制文字cv2，进阶学习
2401_84862187的博客
05-15 835
drawPIL.text((x, y), ‘@Elaine猿’, font=fontText, fill=(128, 128, 128, 160))
送书福利 | OpenCV4应用开发 - 入门、进阶与工程化实践
我爱计算机视觉
12-11 357
大家好！今天给大家隆重推荐我的好朋友贾志刚老师的新书《OpenCV4应用开发 - 入门、进阶与工程化实践》。贾老师专注 OpenCV 和计算机视觉领域超过 10 年，著有《 OpenCV Android开发实战》等书。在文本处理、图像搜索、人脸美化等算法方面有深入研究、开发过多个图像处理算法模块，并成功应用在医学检测与工业领域。大家好，今天给大家推荐一波新书，并准备了一波福利（赠书），参与方式查...
【Opencv入门到项目实战】（十）：项目实战|文档扫描|OCR识别
阿里云专家博主、数据科学领域优质创作者、统计er在读
08-12 1万+
OCR（即光学字符识别）是识别图像中的文本并将其转换为电子形式的过程。这些图像可以是手写文本、打印文本（如文档、收据、名片等），甚至是自然场景照片。简单来说，OCR 有两个部分。第一部分是文本检测，确定图像内的文本部分。第二部分文本识别，从图像中提取文本。结合使用这些技术可以从任何图像中提取文本。具体的流程如下图所示OCR 在各个行业都有广泛的应用（主要目的是减少人工操作）。它已经融入我们的日常生活，并且有很多的应用。背景：我们有一张随手拍的发票照片如下，我们希望识别出文档信息并扫描思考。
HarmonyOS Next 监听HiLog日志实现测试用例验证
shudaoshanQAQ的博客
03-26 692
本示例通过监听hilog日志的回调，判断指定日志是否打印，来确定测试用例的执行结果是成功还是失败。
HarmonyOS NEXT应用开发之预加载so并读取RawFile文件
1
03-11 1367
本示例主要介绍在TaskPool子线程中使用 dlopen 预加载 so 库并使用句柄调用库函数的方法，以及在Native中使用 pread 系统函数读取Rawfile文件的部分文本内容，并添加 HiLog 日志。
opencv-0-项目启程
Fxxk CPP
04-20 272
开始 无数次说要开始 opencv 的系列, 但是都由于各种原因没有坚持下去, 这次我做最后一次尝试, 也做最后一次坚持, 如果不做下去, 我就再也不开这个坑. 学习opencv 也有好几年了, 看到别人也写了各种的博文, 也学习了很多, 我也想写一点什么作为自己的一个总结, 我会将自己用到的和能够查到的都尽量写完整, 完善自己的知识库, 进而都整理出来, 完成写作. 工作量可能有点大, 但是我...
HarmonyOS Next 监听HiLog日志实现测试用例验证_oh_log_print(1)
2301_77110907的博客
04-09 754
*
【计算机视觉】OpenCV 4高级编程与项目实战（Python版）【1
m0_58269520的博客
04-16 1347
OpenCV是目前最流行的计算机视觉处理库之一，受到了计算机视觉领域众多研究人员的喜爱。计算机视觉是一门研究如何让机器“看”的科学，即用计算机来模拟人的视觉机理，用摄像头代替人眼对目标进行识别、跟踪和测量等，通过处理视觉信息获得更深层次的信息。例如，通过拍摄环绕建筑物一周的视频，利用三维重建技术重建建筑物三维模型；通过放置在车辆上方的摄像头拍摄前方场景，推断车辆能否顺利通过前方区域等决策信息。对于人类来说，通过视觉获取环境信息是一件非常容易的事情，因此有人会误认为实现计算机视觉是一件非常容易的事情。
pyqt5能否用于鸿蒙系统,PyQt显示来自opencv的视频流
weixin_29571873的博客
05-31 265
感谢Taimur Islam的提问。感谢eyllanesc的精彩回答，我对你的代码进行了一些修改。我使用PtQt = 4 Python = 2.7并且我没有使用opencvimportsysimportnumpyasnpimportflycapture2asfc2fromPyQt4.QtCoreimport(QThread,Qt,pyqtSignal)fromPyQt4....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值