一步一步学OAK之十一:实现在RGB相机上进行对象跟踪

九仞山

已于 2023-07-05 17:09:11 修改

阅读量2.1k

点赞数

分类专栏：人工智能文章标签： python ai DepthAI OAK 人工智能

于 2023-06-29 21:17:12 首次发布

本文链接：https://blog.csdn.net/w137160164/article/details/131464572

版权

本文详细介绍了如何一步步在OAK设备上实现RGB相机的对象跟踪。首先创建文件和虚拟环境，安装依赖，然后导入必要的包。接着定义和加载模型路径与标签，创建pipeline和节点，并设置相关属性。在主循环中，从输出队列获取图像帧和跟踪结果，计算FPS，处理图像帧数据并在图像上绘制跟踪结果。最后，运行程序，实时显示目标跟踪的杯子位置。

摘要由CSDN通过智能技术生成

Setup 1: 创建文件

创建新建13-object-tracker-on-rgb文件夹
用vscode打开该文件夹
新建一个main.py 文件

Setup 2: 安装依赖

安装依赖前需要先创建和激活虚拟环境，我这里已经创建了虚拟环境OAKenv，在终端中输入cd…退回到OAKenv的根目录，输入 OAKenv\Scripts\activate激活虚拟环境

安装pip依赖项：

pip install numpy opencv-python depthai blobconverter --user

Setup 3: 导入需要的包

在main.py中导入项目需要的包

from pathlib import Path
import cv2
import depthai as dai
import numpy as np
import time
import argparse

pathlib用于处理文件路径，sys用于系统相关的操作，cv2是OpenCV库用于图像处理，depthai是depthai库用于深度计算和AI推理。time用于处理时间，argparse用于处理命令行参数。

time库：用于处理和操作时间相关的功能和操作。提供了许多用于测量时间、获取当前时间、等待或延迟执行的函数。可用于计时、性能测试、调度任务等场景。例如，time.time()可以获取当前的时间戳，time.sleep()可以使程序休眠指定时间。

argparse库：用于解析命令行参数以及生成用户友好的命令行界面。

允许定义程序所需的命令行参数，并自动解析和验证这些参数。
可以处理位置参数、可选参数、布尔标志等多种参数类型。
使用argparse可以实现灵活的命令行接口，使得程序可以方便地从命令行中获得输入。
例如，可以使用argparse.ArgumentParser创建一个解析器对象，定义参数后调用parse_args()方法解析命令行参数。

Setup 4:定义和加载模型相关的路径和标签

labelMap = ["background", "aeroplane", "bicycle", "bird", "boat", "bottle", "bus", "car", "cat", "chair", "cow",
            "diningtable", "dog", "horse", "motorbike", "person", "pottedplant", "sheep", "sofa", "train", "tvmonitor"]

nnPathDefault = str((Path(__file__).parent / Path('../models/mobilenet-ssd_openvino_2021.4_6shave.blob')).resolve().absolute())
parser = argparse.ArgumentParser()
parser.add_argument('nnPath', nargs='?', help="Path to mobilenet detection network blob", default=nnPathDefault)
parser.add_argument('-ff', '--full_frame', action="store_true", help="Perform tracking on full RGB frame", default=False)

args = parser.parse_args()

fullFrameTracking = args.full_frame

这段代码使用argparse库解析命令行参数，并根据解析的结果设置对应的变量值。

定义labelMap为一个字符串列表，包含了针对图像分类任务的类别标签。每个元素代表一个类别，按照索引与模型预测结果相对应。
定义nnPathDefault字符串，指定了模型文件的路径，默认为mobilenet-ssd_openvino_2021.4_6shave.blob文件的路径。
parser = argparse.ArgumentParser()创建一个参数解析器对象。
parser.add_argument('nnPath', nargs='?', help="Path to mobilenet detection network blob", default=nnPathDefault)定义一个位置参数nnPath，该参数用于指定模型文件的路径，默认值为nnPathDefault。
parser.add_argument('-ff', '--full_frame', action="store_true", help="Perform tracking on full RGB frame", default=False)用于开启全帧追踪。该参数可以通过命令行中的-ff