一步一步学OAK之六:通过OAK相机实现特征检测

特征检测

特征检测是指在数字图像中自动寻找并定位具有特定特征的图像区域或图像点。这些特征可以是在图像中具有独特外观、结构或统计特性的对象、边缘、角点、纹理等。

特征检测在计算机视觉中起到至关重要的作用，它是许多计算机视觉任务的基础，如目标检测、跟踪、姿态估计、图像拼接、图像识别等。通过提取和匹配特征，可以实现图像对齐、物体识别、运动估计等计算机视觉任务。

传统的特征检测方法包括边缘检测（如Canny边缘检测）、角点检测（如Harris角点检测）、尺度不变特征变换（SIFT）、加速稳健特征（SURF）等。近年来，基于深度学习的特征检测方法，如卷积神经网络（CNN）的特征提取，也在图像特征检测领域取得了重要的突破和应用。

Setup 1: 创建文件

• 创建新建6-feature-detector文件夹
• 用vscode打开该文件夹
• 新建一个main.py 文件

Setup 2: 安装依赖

安装依赖前需要先创建和激活虚拟环境，我这里已经创建了虚拟环境OAKenv，在终端中输入cd…退回到OAKenv的根目录，输入 OAKenv\Scripts\activate激活虚拟环境

安装pip依赖项：

pip install numpy opencv-python depthai blobconverter --user

Setup 3: 导入需要的包

在main.py中导入项目需要的包

import cv2
import depthai as dai

Setup 4: 创建pipeline

pipeline = dai.Pipeline()

Setup 5: 创建节点

创建相机节点

monoLeft = pipeline.createMonoCamera()
monoRight = pipeline.createMonoCamera()

1. monoLeft = pipeline.createMonoCamera()：创建一个单通道相机节点（MonoCamera），用于捕获左侧单色图像。
2. monoRight = pipeline.createMonoCamera()：创建一个单通道相机节点（MonoCamera），用于捕获右侧单色图像。

创建特征检测节点

featureTrackerLeft = pipeline.createFeatureTracker()
featureTrackerRight = pipeline.createFeatureTracker()

这段代码在pipeline中创建三个边缘检测节点。

1. featureTrackerLeft = pipeline.createFeatureTracker()：创建了一个特征检测节点用于处理左侧单色图像。
2. featureTrackerRight = pipeline.createFeatureTracker()：创建了一个特征检测节点用于处理右侧单色图像。

创建数据交互的节点

xoutPassthroughFrameLeft = pipeline.createXLinkOut()
xoutTrackedFeaturesLeft = pipeline.createXLinkOut()
xoutPassthroughFrameRight = pipeline.createXLinkOut()
xoutTrackedFeaturesRight = pipeline.createXLinkOut()
xinTrackedFeaturesConfig = pipeline.createXLinkIn()

xoutPassthroughFrameLeft.setStreamName("passthroughFrameLeft")
xoutTrackedFeaturesLeft.setStreamName("trackedFeaturesLeft")
xoutPassthroughFrameRight.setStreamName("passthroughFrameRight")
xoutTrackedFeaturesRight.setStreamName("trackedFeaturesRight")
xinTrackedFeaturesConfig.setStreamName("trackedFeaturesConfig")

这段代码创建了五个与外部设备进行数据交互的节点。

1. 使用pipeline.createXLinkOut()方法创建了四个用于与外部设备进行数据输出的节点。
2. 使用pipeline.createXLinkIn()方法创建了一个用于与外部设备进行数据输入的节点。

为每个输出节点和输入节点设置了一个数据流名称

使用.setStreamName("name")方法为上面创建的五个节点设置数据流名称

Setup 6:设置相关属性

设置相机的相关属性

monoLeft.setResolution(dai.MonoCameraProperties.SensorResolution.THE_400_P)
monoLeft.setBoardSocket(dai.CameraBoardSocket.LEFT)
monoRight.setResolution(dai.MonoCameraProperties.SensorResolution.THE_400_P)
monoRight.setBoardSocket(dai.CameraBoardSocket.RIGHT)

对于左侧的单目相机：

1. monoLeft.setResolution(dai.MonoCameraProp