基于LockAI视觉识别模块:C++同时识别轮廓和色块

1. 项目简介

1.1 色块识别的重要性

  • 颜色特征提取:颜色是一种重要的视觉特征,尤其在背景较为单一的情况下,能够快速区分目标区域。

  • 应用场景:广泛应用于机器人导航、工业自动化、物体跟踪等领域。

  • HSV 颜色空间:相比于 RGB 颜色空间,HSV 更适合用于颜色识别,因为它可以将颜色信息(Hue)、饱和度(Saturation)和亮度(Value)分离,便于设置阈值。

1.2 色块识别的流程

  • 获取图像。

  • 将图像从 BGR 转换为 HSV 颜色空间。

  • 创建二值掩码,筛选出符合颜色范围的像素。

  • 使用形态学操作清除噪声。

  • 查找轮廓并筛选符合条件的色块。

  • 计算外接矩形和中心点。

  • 绘制结果并输出。

1.3 图像处理的重要性

  • 目标检测:图像处理技术可以用于检测图像中的特定对象或特征。

  • 应用场景:广泛应用于物体识别、工业自动化、机器人导航、自动驾驶等领域。

  • 常见任务:

    • 边缘检测:提取图像中的边界信息。

    • 直线检测:识别图像中的直线结构。

    • 圆检测:识别图像中的圆形结构。

    • 多边形拟合:将轮廓拟合成多边形以简化形状描述。

1.4 图像处理的基本流程

  • 初始化摄像头:打开摄像头设备并设置分辨率。

  • 读取图像帧:从摄像头中获取实时视频帧。

  • 预处理:将图像转换为灰度图、降噪等操作。

  • 特征检测:执行边缘检测、霍夫变换等算法。

  • 结果绘制:在原图上绘制检测到的特征。

  • 显示结果:将处理后的图像输出到屏幕。

1.5、源代码地址

LockzhinerVisionModule: 基于 rv1106 开发的神经网络模型部署仓库,目前支持 picodet、mobilenet 、crnn 、pphumanseg、ocr 、yolov5等神经网络模型 - Gitee.com


2. API 文档

2.1 头文件

#include <opencv2/opencv.hpp>

2.2 生成掩码

cv::inRange(src, lowerb, upperb, dst);
  • 参数说明:

    • src:输入图像,可以是单通道或三通道的图像。

    • lowerb:颜色下界,是一个Scalar对象,表示要查找的颜色的下限。

    • upperb:颜色上界,是一个Scalar对象,表示要查找的颜色的上限。

    • dst:输出图像,是一个单通道的8位无符号整数图像,表示生成的掩码。

  • 返回值:

2.3 创建形态学操作所需的结构元素核

cv::getStructuringElement(shape, ksize, anchor);
  • 参数说明:

    • shape:核形状,可以是RECT、CROSS、ELLIPSE等。

    • ksize:核大小,是一个Size对象,表示核的宽度和高度。

    • anchor:锚点,是一个Point对象,表示核的锚点位置。

  • 返回值:

    • 返回一个核,是一个Mat对象。

2.4 形态学操作:清除噪声

cv::morphologyEx(src, dst, op, kernel, anchor, iterations, borderType, borderValue);
  • 参数说明:

    • src:输入图像,可以是单通道或三通道的图像。

    • dst:输出图像,是一个单通道的8位无符号整数图像,表示生成的掩码。

    • op:操作类型,可以是OPEN、CLOSE、GRADIENT、TOPHAT、BLACKHAT等。

    • kernel:核,是一个Mat对象,表示形态学操作的核。

    • anchor:锚点,是一个Point对象,表示核的锚点位置。

    • iterations:迭代次数,是一个整数,表示形态学操作的迭代次数。

    • borderType:边界类型,可以是BORDER_CONSTANT、BORDER_REPLICATE、BORDER_REFLECT、BORDER_WRAP、BORDER_REFLECT_101等。

    • borderValue:边界值,是一个Scalar对象,表示边界区域的值。

  • 返回值:

2.5 查找轮廓

cv::findContours(image, contours, hierarchy, mode, method, offset);
  • 参数说明:

    • image:输入图像,可以是单通道或三通道的图像。

    • contours:输出参数,是一个vector<vector<Point>>对象,表示轮廓的集合。

    • hierarchy:输出参数,是一个vector<Vec4i>对象,表示轮廓的层级关系。

    • mode:轮廓发现模式,可以是RETR_EXTERNAL、RETR_LIST、RETR_CCOMP、RETR_TREE等。

    • method:轮廓 approximation 方法,可以是CHAIN_APPROX_NONE、CHAIN_APPROX_SIMPLE、CHAIN_APPROX_TC89_L1、CHAIN_APPROX_TC89_KCOS等。

    • offset:轮廓偏移量,是一个Point对象,表示轮廓的偏移量。

  • 返回值:

    • 返回一个整数,表示轮廓的数量。

2.6 获取轮廓的外接矩形

cv::boundingRect(points);
  • 参数说明:

    • points:输入参数,是一个vector<Point>对象,表示轮廓的点集合。

  • 返回值:

    • 返回一个Rect对象,表示轮廓的外接矩形。

2.7 计算矩阵矩

cv::moments(array, binaryImage);
  • 参数说明:

    • array:输入参数,是一个Mat对象,表示输入的矩阵。

    • binaryImage:输入参数,是一个布尔值,表示是否将输入的矩阵转换为二值矩阵。

  • 返回值:

    • 返回一个 Moments对象,表示矩阵的矩。

2.8 绘制矩形框

cv::rectangle(img, pt1, pt2, color, thickness, lineType, shift);
  • 参数说明:

    • img:输入参数,是一个Mat对象,表示输入的图像。

    • pt1:输入参数,是一个Point对象,表示矩形的左上角点。

    • pt2:输入参数,是一个Point对象,表示矩形的右下角点。

    • color:输入参数,是一个Scalar对象,表示矩形的颜色。

    • thickness:输入参数,是一个整数,表示矩形的线宽。

    • lineType:输入参数,是一个整数,表示矩形的线类型。

    • shift:输入参数,是一个整数,表示坐标的精度。

  • 返回值:

2.9 绘制圆

cv::circle(img, center, radius, color, thickness, lineType, shift);
  • 参数说明:

    • img:输入参数,是一个Mat对象,表示输入的图像。

    • center:输入参数,是一个Point对象,表示圆心。

    • radius:输入参数,是一个整数,表示圆的半径。

    • color:输入参数,是一个Scalar对象,表示圆的颜色。

    • thickness:输入参数,是一个整数,表示圆的线宽。

    • lineType:输入参数,是一个整数,表示圆的线类型。

    • shift:输入参数,是一个整数,表示坐标的精度。

  • 返回值:

2.10 查找色块函数(自定义)

std::vector<std::vector<cv::Point>> find_blobs(
    const cv::Mat &image,
    const cv::Scalar &lower_bound,
    const cv::Scalar &upper_bound,
    int min_area = 100,
    int kernel_size = 5);
  • 参数说明:

    • image:输入参数,是一个Mat对象,表示输入的图像。

    • lower_bound:输入参数,是一个Scalar对象,表示颜色下界。

    • upper_bound:输入参数,是一个Scalar对象,表示颜色上界。

    • min_area:输入参数,是一个整数,表示最小面积。

    • kernel_size:输入参数,是一个整数,表示核大小。

  • 返回值:

    • 返回一个vector<vector<Point>>对象,表示找到的色块的点集合。

2.11 高斯模糊

cv::GaussianBlur(src, dst, Size(3, 3), 0);
  • 参数:

    • src:输入图像。

    • dst:输出图像。

    • Size(3, 3):卷积核大小。

    • 0:标准差。

  • 返回值:

    • 无。

2.12 边缘检测

cv::Canny(src, dst, 50, 150);
  • 参数:

    • src:输入图像。

    • dst:输出图像。

    • 50:低阈值。

    • 150:高阈值。

    • apertureSize:Sobel 算子的孔径大小(默认为 3)。

    • L2gradient:是否使用 L2 范数计算梯度(默认为 false)。

  • 返回值:

    • 无。

2.13 对轮廓进行多边形拟合

cv::approxPolyDP(contours[i], approx, epsilon, closed);
  • 参数:

    • contours[i]:轮廓。

    • approx:多边形顶点列表。

    • epsilon:精度参数,表示最大距离,用于控制多边形拟合的精度。

    • closed:是否闭合多边形(默认为 false)。

  • 返回值:

2.14 使用概率霍夫变换检测直线

cv::HoughLinesP(src, lines, 1, CV_PI / 180, 50, 50, 10);
  • 参数:

    • src:输入图像。

    • lines:检测到的直线列表。

    • 1:rho 分辨率。

    • CV_PI / 180:theta 分辨率。

    • 50:最小线段长度。

    • 50:最大线段间隔。

    • 10:线段阈值。

  • 返回值:

2.15 使用霍夫变化检测圆型

cv::HoughCircles(src, circles, CV_HOUGH_GRADIENT, 1, src.rows / 8, 200, 100, 0, 0);
  • 参数:

    • src:输入图像。

    • circles:检测到的圆列表。

    • CV_HOUGH_GRADIENT:检测方法。

    • 1:rho 分辨率。

    • src.rows / 8:theta 分辨率。

    • 200:最小圆半径。

    • 100:最大圆半径。

    • 0:圆心 x 坐标。

    • 0:圆心 y 坐标。

  • 返回值:

3. 综合代码介绍

3.1 流程图

3.2 核心代码解析

  • 阈值分割

cv::inRange(hsv_image, lower_bound, upper_bound, mask);
  • 形态学开运算

cv::Mat kernel = cv::getStructuringElement(cv::MORPH_RECT, cv::Size(kernel_size, kernel_size));
cv::morphologyEx(mask, mask, cv::MORPH_OPEN, kernel);
  • 轮廓查找

std::vector<std::vector<cv::Point>> contours;
cv::findContours(mask, contours, cv::RETR_EXTERNAL,cv::CHAIN_APPROX_SIMPLE);
  • 筛选色块

std::vector<std::vector<cv::Point>> filtered_contours;
for (const auto &contour : contours)
{
    cv::Rect bounding_rect = cv::boundingRect(contour);
    if (bounding_rect.area() >= min_area)
    {
        filtered_contours.push_back(contour);
    }
}

3.3 完整代码实现

#include <lockzhiner_vision_module/edit/edit.h>
#include <opencv2/opencv.hpp>
#include <iostream>
#include <vector>
​
std::vector<std::vector<cv::Point>> find_blobs(
    const cv::Mat &image,
    const cv::Scalar &lower_bound,
    const cv::Scalar &upper_bound,
    int min_area = 100,
    int kernel_size = 5)
{
    // 转换为 HSV 颜色空间
    cv::Mat hsv_image;
    cv::cvtColor(image, hsv_image, cv::COLOR_BGR2HSV);
​
    // 创建二值掩码
    cv::Mat mask;
    cv::inRange(hsv_image, lower_bound, upper_bound, mask);
​
    // 形态学操作:清除噪声
    cv::Mat kernel = cv::getStructuringElement(cv::MORPH_RECT, cv::Size(kernel_size, kernel_size));
    cv::morphologyEx(mask, mask, cv::MORPH_OPEN, kernel);
​
    // 查找轮廓
    std::vector<std::vector<cv::Point>> contours;
    cv::findContours(mask, contours, cv::RETR_EXTERNAL, cv::CHAIN_APPROX_SIMPLE);
​
    // 筛选符合条件的色块
    std::vector<std::vector<cv::Point>> filtered_contours;
    for (const auto &contour : contours)
    {
        cv::Rect bounding_rect = cv::boundingRect(contour);
        if (bounding_rect.area() >= min_area)
        {
            filtered_contours.push_back(contour);
        }
    }
    return filtered_contours;
}
​
int main()
{
    lockzhiner_vision_module::edit::Edit edit;
    if (!edit.StartAndAcceptConnection())
    {
        std::cerr << "Error: Failed to start and accept connection." << std::endl;
        return EXIT_FAILURE;
    }
    std::cout << "Device connected successfully." << std::endl;
​
    cv::VideoCapture cap;
    int width = 640;  // 设置摄像头分辨率宽度
    int height = 480; // 设置摄像头分辨率高度
    cap.set(cv::CAP_PROP_FRAME_WIDTH, width);
    cap.set(cv::CAP_PROP_FRAME_HEIGHT, height);
​
    // 打开摄像头设备
    cap.open(0); // 参数 0 表示默认摄像头设备
    if (!cap.isOpened())
    {
        std::cerr << "Error: Could not open camera." << std::endl;
        return EXIT_FAILURE;
    }
​
    while (true)
    {
        cv::Mat image; // 存储每一帧图像
        cap >> image;  // 获取新的一帧
​
        if (image.empty())
        {
            std::cerr << "Warning: Couldn't read a frame from the camera." << std::endl;
            continue;
        }
​
        // 定义颜色阈值(例如红色)
        cv::Scalar lower_red(170, 100, 100); // 红色下界
        cv::Scalar upper_red(179, 255, 255); // 红色上界
​
        // 调用 find_blobs 函数
        int min_area = 100;  // 最小面积阈值
        int kernel_size = 1; // 形态学操作核大小
        std::vector<std::vector<cv::Point>> blobs = find_blobs(image, lower_red, upper_red, min_area, kernel_size);
​
        // 绘制和打印检测到的色块,并筛选矩形
        for (const auto &contour : blobs)
        {
            // 计算外接矩形框
            cv::Rect bounding_rect = cv::boundingRect(contour);
​
            // 近似多边形拟合
            std::vector<cv::Point> approx;
            cv::approxPolyDP(contour, approx, cv::arcLength(contour, true) * 0.02, true);
​
            // 判断是否为四边形
            if (approx.size() == 4)
            {
                // 绘制矩形框
                cv::rectangle(image, bounding_rect, cv::Scalar(0, 255, 0), 2);
​
                // 计算中心点
                cv::Moments moments = cv::moments(contour);
                int cx = moments.m10 / moments.m00;
                int cy = moments.m01 / moments.m00;
​
                // 绘制中心点
                cv::circle(image, cv::Point(cx, cy), 5, cv::Scalar(0, 0, 255), -1);
​
                // 打印信息
                std::cout << "Red quadrilateral detected at (" << cx << ", " << cy
                          << ") with area " << bounding_rect.area() << std::endl;
            }
        }
​
        // 显示结果
        edit.Print(image);
    }
​
    cap.release();
    return 0;
}

4. 编译过程

4.1 编译环境搭建

4.2 Cmake介绍

# CMake最低版本要求  
cmake_minimum_required(VERSION 3.10)  
​
project(test-Finecolorandshape)
​
set(CMAKE_CXX_STANDARD 17)
set(CMAKE_CXX_STANDARD_REQUIRED ON)
​
# 定义项目根目录路径
set(PROJECT_ROOT_PATH "${CMAKE_CURRENT_SOURCE_DIR}/../..")
message("PROJECT_ROOT_PATH = " ${PROJECT_ROOT_PATH})
​
include("${PROJECT_ROOT_PATH}/toolchains/arm-rockchip830-linux-uclibcgnueabihf.toolchain.cmake")
​
# 定义 OpenCV SDK 路径
set(OpenCV_ROOT_PATH "${PROJECT_ROOT_PATH}/third_party/opencv-mobile-4.10.0-lockzhiner-vision-module")
set(OpenCV_DIR "${OpenCV_ROOT_PATH}/lib/cmake/opencv4")
find_package(OpenCV REQUIRED)
set(OPENCV_LIBRARIES "${OpenCV_LIBS}")
# 定义 LockzhinerVisionModule SDK 路径
set(LockzhinerVisionModule_ROOT_PATH "${PROJECT_ROOT_PATH}/third_party/lockzhiner_vision_module_sdk")
set(LockzhinerVisionModule_DIR "${LockzhinerVisionModule_ROOT_PATH}/lib/cmake/lockzhiner_vision_module")
find_package(LockzhinerVisionModule REQUIRED)
​
# 寻找色块和轮廓
add_executable(Test-Finecolorandshape Finecolorandshape.cc)
target_include_directories(Test-Finecolorandshape PRIVATE ${LOCKZHINER_VISION_MODULE_INCLUDE_DIRS})
target_link_libraries(Test-Finecolorandshape PRIVATE ${OPENCV_LIBRARIES} ${LOCKZHINER_VISION_MODULE_LIBRARIES})
​
install(
    TARGETS Test-Finecolorandshape
    RUNTIME DESTINATION .  
)

4.3 编译项目

使用 Docker Destop 打开 LockzhinerVisionModule 容器并执行以下命令来编译项目

# 进入Demo所在目录
cd /LockzhinerVisionModuleWorkSpace/LockzhinerVisionModule/Cpp_example/C05_Find_color_and_shape
# 创建编译目录
rm -rf build && mkdir build && cd build
# 配置交叉编译工具链
export TOOLCHAIN_ROOT_PATH="/LockzhinerVisionModuleWorkSpace/arm-rockchip830-linux-uclibcgnueabihf"
# 使用cmake配置项目
cmake ..
# 执行编译项目
make -j8 && make install

在执行完上述命令后,会在build目录下生成可执行文件。


5. 例程运行示例

5.1 运行过程

chmod 777 Test-Finecolorandshape
./Test-Finecolorandshape

5.2 结果展示


6. 总结

本程序实现了基于 OpenCV 的红色四边形检测功能,具有以下特点:

  • 高效性:通过颜色过滤、形态学处理和轮廓筛选,快速定位目标。

  • 灵活性:支持自定义颜色阈值、最小面积和形态学核大小,适应不同场景需求。

  • 易用性:代码结构清晰,模块化设计便于扩展和维护。 该程序可作为基础框架,进一步应用于更复杂的视觉任务,例如多目标检测、动态跟踪等。通过调整颜色阈值和形状筛选条件,还可扩展到其他颜色和形状的检测任务。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值