机器视觉初步9：目标检测专题

已于 2023-06-27 18:48:09 修改
阅读量1.2k 收藏 1
点赞数 1
分类专栏： 机器视觉探路之旅 文章标签： 目标检测 人工智能 计算机视觉
于 2023-06-27 18:45:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/khasix/article/details/131422514
版权

文章目录


机器视觉领域中常见的目标检测方法主要分为以下两类：

  1. Two-Stage方法1：在这类方法中，首先使用一个分类器（如SVM、神经网络等）将目标与背景区分开，然后再确定目标的位置。
    这个过程通常需要两步：
    （1）先进行候选区域（Region Proposal）生成，将图像中可能包含目标的区域提取出来；
    （2）再在候选区域中进行分类与位置精修。代表性算法有：R-CNN（Region-based Convolutional Neural Networks）、Fast R-CNN、Faster R-CNN、YOLO（You Only Look Once）和SSD（Single Shot MultiBox Detector）等。
  2. One-Stage方法2：在这类方法中，通常直接在原始图像上进行目标检测，不需要进行候选区域的生成。代表性算法有：YOLO、YOLOv2、YOLOv3、YOLOv4和YOLOv5等。
    值得注意的是，尽管这些方法在检测准确性上有一定差异，但它们的性能与速度并非不可兼得。通过改进模型结构和训练策略，可以在保证检测精度的前提下，提高模型的速度和计算资源需求的降低。

不同算法的基本框架图
不同算法的基本框架图

1.Two-Stage方法

Two-Stage方法首先使用预选区域提取（Region Proposal）产生候选框，然后对候选框进行分类和边界框回归。这类方法速度相对较慢但精度较高。常见的Two-Stage方法有Faster R-CNN、R-FCN、YOLOv2等。

1.1 Faster R-CNN

Faster R-CNN是一种用于物体检测的卷积神经网络（Convolutional Neural Network, CNN）方法。
在这里插入图片描述

Faster R-CNN 使用区域生成网络（Region Proposal Network, RPN）来生成可能包含物体的候选区域（Regions of Interest, RoIs），然后在这些候选区域上训练物体检测器（Object Detector, Detector）。这种方法比传统的滑动窗口方法更快。
在这里插入图片描述

在Halcon中，可以使用以下算子实现：

dev_close_window()
dev_open_file_dialog ('choose file', '*.png', '', 'path/to/your/image', '*.png', ['Image', 'path/to/your/image'])
read_image (Image, 'path/to/your/image')

convert_image_color (Image, Image, 'RGB')

dev_display (Image)
dev_display (Dog)

region_copy (Region, RegionCopy)

connection (RegionCopy, ConnectedRegions)

select_shape (ConnectedRegions, SelectedRegions, 'area', 'and', 20000, 1000000)

gen_empty_obj (Obj)

append_rectangle2 (Obj, SelectedRegions, 12, 12)

text_obj_detection (SelectedRegions, ObjectTexts, 'both', 'true', 'false', 'true', 'true', 'true', 'true', 'true')

推荐阅读这篇文章深入了解：一文读懂Faster RCNN

1.2 R-FCN

R-FCN（Region-based Fully Convolutional Networks）是一种用于物体检测的卷积神经网络方法。与 Faster R-CNN 类似，R-FCN 使用 FPN (Feature Pyramid Network) 进行多尺度特征提取。
在这里插入图片描述

但是，R-FCN 使用全卷积网络（Fully Convolutional Networks）在每个尺度上进行物体检测，而不是采用候选区域方法。这使得 R-FCN 在不同尺度的图像上表现出更好的性能。
在这里插入图片描述

在Halcon中，可以使用以下算子实现：

dev_close_window()
dev_open_file_dialog ('choose file', '*.png', '', 'path/to/your/image', '*.png', ['Image', 'path/to/your/image'])
read_image (Image, 'path/to/your/image')

convert_image_color (Image, Image, 'RGB')

dev_display (Image)
dev_display (Dog)

region_copy (Region, RegionCopy)

connection (RegionCopy, ConnectedRegions)

select_shape (ConnectedRegions, SelectedRegions, 'area', 'and', 20000, 1000000)

gen_empty_obj (Obj)

append_rectangle2 (Obj, SelectedRegions, 12, 12)

connection (Obj, Connection)

这里我们使用了Python的OpenCV库和Halcon库实现目标检测。Python代码如下：

import cv2
import numpy as np

def detect_objects(image_path):
    # 加载图像
    image = cv2.imread(image_path, cv2.IMREAD_GRAYSCALE)

    # 创建Halcon对象
    halcon_objects = []

    # 使用Halcon读取图像
    ho_image = cv2.imread(image_path, cv2.IMREAD_GRAYSCALE)

    # 使用Halcon提取特征
    features = detect_objects_with_hasc(ho_image)

    # 找到感兴趣的物体
    found_objects = []
    for ho_feature in features:
        if ho_feature.GetPoses():
            for obj in ho_feature.GetObjects():
                obj = cv2.CvPoint2D32f(obj.GetPosition()[0], obj.GetPosition()[1])
                obj = cv2.boxPoints(obj)
                if obj.shape != (5, 5):
                    found_objects.append(obj)

    # 显示结果
    for obj in found_objects:
        cv2.rectangle(image, (obj[0], obj[1]), (obj[2], obj[3]), (0, 255, 0), 2)
        cv2.putText(image, "Object", (obj[0], obj[1]), cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 255, 0), 2)
        cv2.imshow("Halcon Object Detection", image)
    cv2.waitKey(0)

if __name__ == "__main__":
    image_path = "path/to/your/image.png"
    detect_objects(image_path)

2.One-Stage方法

One-Stage方法直接在输出层生成目标边界框，速度快但精度相对较低。这类方法通常使用候选区域提取（Region Proposal）和分类两个阶段，候选区域在输入图像中生成大量候选框，然后进行分类和边界框回归。常见的One-Stage方法有YOLO（You Only Look Once）、SSD（Single Shot MultiBox Detector）等。

2.1 YOLOv3(你只看一次)

YOLO（You Only Look Once）是一种用于物体检测的卷积神经网络方法。
在这里插入图片描述

YOLO 将物体检测任务视为回归问题，并将图像划分为网格，每个网格预测物体的类别和边界框。YOLO v3 在前两代版本的基础上，引入了新的特征映射、多尺度检测和更先进的卷积神经网络结构，从而提高了检测速度和准确性。
在这里插入图片描述

在Halcon中，可以使用以下算子实现：

dev_clear_window()
dev_update_off()
dev_close_window()
dev_open_window (0, 0, 512, 512, 'black', WindowHandle)

read_image (Image, 'path/to/your/image')

convert_image_dtype (Image, Image, 'uint8')

inner_product (Image, Results, 'false', 'false', 'false')

threshold (Results, RegionGrowth, 0, 255)

select_shape (RegionGrowth, SelectedRegions, 'area', 'and', 10000, 1000000)

dilation_rectangle1 (SelectedRegions, RegionDilation, 15, 15)

connection (RegionDilation, ConnectedRegions)

select_shape (ConnectedRegions, SelectedObjects, 'area', 'and', 10000, 1000000)

text_object_detection (SelectedObjects, DetectedObjects, 'both', 'true', 'false', 'true', 'true', 'true', 'true', 'true')

更多参考：【yolov3详解】一文让你读懂yolov3目标检测原理

2.2 SSD（单次多框检测器）

SSD（Single Shot MultiBox Detector）是一种用于物体检测的卷积神经网络方法。
在这里插入图片描述

SSD 同样将物体检测任务视为回归问题，但使用卷积神经网络（Convolutional Neural Network, CNN）在单次前向传播中预测物体的类别和边界框。
SSD使用多尺度特征图3进行检测，通过特征提取网络（如MobileNet、VGG等）产生候选区域，再使用分类器和边界框回归器进行目标定位和分类。

换言之，SSD 通过使用不同尺度的卷积特征映射对多个位置和大小的物体进行检测。
SSD 的主要优势在于其检测速度，因为它不需要在图像上滑动候选区域。

在Halcon中，可以使用以下算子实现：

dev_close_window()
dev_open_file_dialog ('choose file', '*.png', '', 'path/to/your/image', '*.png', ['Image', 'path/to/your/image'])
read_image (Image, 'path/to/your/image')

convert_image_color (Image, Image, 'RGB')

gray_scale (Image, GrayImage, 0, 255)

fg_threshold (GrayImage, Regions, 0, 255)

dev_display (Image)
dev_display (Regions)

可参考这篇文章：目标检测|SSD原理与实现

3.传统滑动窗口方法

“滑动窗口方法”是一种基于滑动窗口的图像分析方法。该方法通过在图像中滑动一系列窗口，并将每个窗口内的图像特征提取出来，然后通过特征提取算法对窗口内的图像进行处理和分析。滑动窗口方法可以用来进行图像分割、特征提取、目标检测、目标跟踪等任务。
在这里插入图片描述

以下是滑动窗口方法的基本原理：

  1. 对于图像中的每个像素，在窗口内进行特征提取，并将特征存储在一个特征向量中。
  2. 将特征向量传输到下一个窗口中。
  3. 重复步骤1和2，直到遍历完整个图像。
  4. 将所有窗口中的特征向量传输到另一个处理器中，并对这些特征向量进行计算和分析。
    以下是Halcon算子实现滑动窗口方法的示例：
dev_close_window ()
dev_open_window (0, 0, 512, 512, 'black', WindowHandle)

* 创建一个与原始图像大小相同的全零窗口
gen_empty_obj (Obj)
Obj_numPoints := 0

* 遍历图像中的每个像素
for I := 1 to ImageLength by 1
    * 在窗口中进行特征提取
    gen_corner_feat (Obj, I, Contours)

    * 检测角点
    detect_contours_xld (Obj, Contours, Contours, Row, Column, Height, Width, Score, MinScore, Number, ContoursNumber)
    
    * 将角点传递到下一个窗口
    dev_display (Image[I:I+ImageLength-1])
    
    * 计算角点之间的距离并可视化
    disp_message (WindowHandle, 'Distance: ' + Distance::String, 'image', Row, Column, 'black')
endfor

以下是Python实现滑动窗口方法的示例：

import cv2

def extract_features(image):
    # 生成特征检测器
    corners = cv2.cornerSubPix(image, corners, (11, 11), (-1, -1), criteria=cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER)
    return corners

# 遍历图像中的每个像素
for I in range(1, image.shape[0] + 1, 1):
    # 在窗口中进行特征提取
    corners = extract_features(image[I - 1:I + 1])
    
    # 检测角点
    detect_contours_xld(corners, corners, None, (0, 0, 255), 2, 0.01, 10, False)
    
    # 将角点传递到下一个窗口
    cv2.drawContours(image[I - 1:I + 1], [0], -1, (0, 0, 255), 2)
    
    # 计算角点之间的距离并可视化
    disp_message(window_handle, 'Distance: ' + distance, 'image', I, 'black')

PS：在Halcon和Python中，实现滑动窗口方法时需要对窗口大小进行指定。
在Halcon中，需要指定ImageLength和ImageWidth；
在Python中，需要指定image。

参考文章：计算机视觉(Computer Vision)入门四----滑动窗口

  1. Two-Stage方法则采用复杂的深度学习模型，如Faster R-CNN、R-FCN、YOLOv3等，这些模型通常分为两个阶段进行处理。第一阶段先生成目标区域，例如通过使用区域卷积神经网络（Region Proposal Networks，RPN）来生成Region Proposals。第二阶段则在目标区域中进行分类和回归，从而进行目标检测。相比于One-Stage方法，Two-Stage方法的检测精度通常更高，但是由于需要两个阶段的计算，所以推理速度相对较慢。
    总之，One-Stage方法和Two-Stage方法各有优缺点，通常在不同的应用场景下选择不同的方法。 ↩︎

  2. One-Stage方法通常采用简单的深度学习模型，如YOLO、SSD等，可以在一次前向传播中直接输出目标的类别和位置。这种方法在检测速度上通常更快，因为它们在推理过程中只需要一次计算，但是由于没有单独的目标区域生成步骤，所以One-Stage方法的检测精度可能会略低于Two-Stage方法。 ↩︎

  3. 多尺度特征图（Multiscale Feature Map）是指在计算机视觉任务中，在不同尺寸的图像金字塔4上进行卷积操作，从而提取不同尺度下的特征信息。
    在图像识别、目标检测、语义分割等计算机视觉任务中，由于场景的复杂性和多样性，不同尺度的物体可能会出现在图像中。为了捕捉这些不同尺度的物体，可以使用多尺度特征图的方法。
    在多尺度特征图中，卷积核的尺寸和步长是可配置的。通常情况下，卷积核会从较小的尺寸逐渐变大，步长也会随之增大。这种方法能够捕获图像中不同尺度的特征信息，从而提高模型在不同尺度物体上的检测和识别能力。
    例如，在目标检测任务中，可以通过堆叠多个不同尺寸的特征图来提取多尺度特征信息。这些特征图可以通过上采样（upsampling）或下采样（downsampling）的方式来调整尺寸，以匹配原始图像的尺寸。这样，模型可以同时关注到小尺度和大尺度的物体，从而提高检测精度。 ↩︎

  4. 图像金字塔是一种用于图像处理和分析的技术，用于表示一组具有不同分辨率和大小的图像。金字塔的每一层代表了图像的不同分辨率，通常从最高分辨率开始，逐渐降低分辨率，直到变成一个像素矩阵。金字塔的每一层可以包含原始图像，也可以是原始图像经过降采样后的结果。
    图像金字塔可以用于图像分割、特征提取、图像识别和图像压缩等领域。在图像分割中，金字塔可以帮助算法逐步降低图像分辨率，以便更好地处理细节信息，并提高计算效率。在特征提取中，金字塔可以用于从多个分辨率级别提取有用的图像特征，以便进行分类和识别。在图像识别中，金字塔可以用于逐步缩小图像的范围，以便更好地识别目标物体。在图像压缩中，金字塔可以用于减少图像的数据量，以便更好地存储和传输图像。 ↩︎

@作死星人
关注
专栏目录
halcon“小试”目标检测(object detection)
苏州程序大白的博客
04-14 1891
halcon“小试”目标检测(object detection) 来个目标检测(object detection)，比较火的检测有faster-rcnn，r-fcn，sdd，yolo。后面有时间一一介绍 下面看看halcon如何实现目标检测的 halcon读取8w多张图像，60w多个目标，毫无压力。halcon还是可以的，就是灵活性差不少。 * * This example is part of a series of examples, which summarizes * the workflow fo
机器视觉专题报告：AI+机器视觉，应用场景持续拓展
06-10
### 机器视觉专题报告：AI+机器视觉，应用场景持续拓展 #### 一、行业背景与发展现状 ##### （一）行业背景概述 机器视觉作为一种结合硬件和软件的技术手段，在工业和非工业领域扮演着越来越重要的角色。它通过...
Halcon 初识 ----计算机视觉 和 工业视觉 区别
X_Nazgul的专栏
08-11 2314
最近一年发现自己已经黔驴技穷了，Qt的路上感觉走到了尽头，工作没有挑战性，也没有了新鲜感，但是这一年的自动化产品的接触，感觉工业视觉是我真正喜欢的东西，于是这个周末开始了halcon的学习！-----花了几百块钱淘宝买了一些视频和资料，总体感觉入门还是没有什么问题的。 第一步分清楚的就是  计算机视觉 和 工业视觉 区别，以及选择学习OpenCV 还是 halcon 的理由。 百度了一下，说计...
【工业视觉】缺陷检测
qianmin12345678的博客
04-30 1509
格比项目大全 1 环境 安装 安装指定的cuda 安装指定的cudnn 安装msvc2019 安装qt 安装fiddler 配置opencv（include path 把opencv_451d放到sysytem32） 打包exe windeployqt xx.exe 添加qt的msvc环境变量 5.15.2\msvc2019_64\bin ...
机器视觉技术的演进：YOLO系列与Halcon的深度对比
填坑之路
02-22 2344
YOLO系列和Halcon的发展历程与技术特点，我们不难发现，尽管它们在实现方式、性能表现和适用场景上有所不同，但都在推动机器视觉技术的进步和应用。选择哪种技术，应根据具体的项目需求、性能要求以及开发和部署环境来决定。
基于Opencv的机器视觉缺陷检测、印刷检测
07-08
在机器视觉领域，OpenCV（开源计算机视觉库）是一个强大的工具，被广泛应用于图像处理、模式识别和物体检测等任务。本项目聚焦于利用OpenCV进行缺陷检测和印刷检测，通过提供可执行的exe文件，使得用户可以直接运行...
机器视觉实验二：道路车流量计数实验（OpenCV-python代码）.zip
02-10
在这个名为“机器视觉实验二：道路车流量计数实验（OpenCV-python代码）.zip”的压缩包文件中，我们可以预见到一系列与机器视觉、OpenCV库以及Python编程相关的实践项目。这个实验的目标是通过计算机视觉技术来实现...
机器视觉屈厄县无关检测Halocon毛刺检测
08-05
机器视觉屈厄县无关检测Halocon毛刺检测
自助餐剩余食品识别图像分割系统：教学内容全覆盖
sgcsdn99的博客
11-04 1440
数据集信息展示在本研究中，我们使用的数据集名为“9_5_Merged”，该数据集专门用于训练改进YOLOv8-seg的自助餐剩余食品识别图像分割系统。该数据集包含71个类别，涵盖了丰富多样的食品种类，旨在提高模型对不同类型剩余食品的识别和分割能力。通过对这些类别的细致划分，我们希望能够实现更高精度的图像分割，进而优化自助餐剩余食品的管理和利用。
掌握AIStarter新功能，轻松关闭广告享受纯净浏览体验
ai_xiaogui的博客
11-07 294
AIStarter的广告拦截器是一项集成在平台内部的新特性，它允许用户根据自己的喜好设置广告过滤规则。无论是烦人的横幅广告、视频前贴片广告还是弹窗广告，都可以通过简单的设置被有效屏蔽。这项功能不仅提升了用户的浏览效率，还保护了用户的隐私安全。在数字时代，拥有一个清爽无干扰的网络环境对每个人都至关重要。AIStarter的广告拦截器正是为此而设计，它帮助用户夺回了对个人浏览体验的控制权。现在就尝试启用这项功能，开始享受一个更加干净、高效的上网体验吧！不要广告！关闭广告！
一次薅国家超算平台的记录
weixin_55179972的博客
11-07 305
参与 谁是下一个“AI”跃人 -AI体验推介活动，赢取千元算力券！（https://www.scnet.cn/home/subject/modular/index270.html）2. Clone开源的Llama3 Chinese （https://github.com/LlamaFamily/Llama-Chinese）活动名称主题：国家超算互联网「AI跃升季」：谁是下一个“AI”跃人 - AI算力体验活动。其中位置1，2替换为商品基模型和训练出来的微调模型。模型改为商城下载的模型。2、运行的过程记录。
在后LLM时代，关于新一代智能体的思考
langboat_mengzi的博客
11-07 461
同时，新一代智能体工具平台应具备与基座LLM保持独立的多层次智能体系，无需依赖单一大模型或者技术供应商，如此一来，有利于实现模块化开发，具备较强的可维护性，同时还能够建立良好的生态，促进智能体的繁荣发展。而“慢思考”是指在基础模型的基础上，当处理一些复杂指令时，智能体将需求拆解成多个子任务，会调用不同的工具来完成任务，并对结果进行反思、确认，这一过程体现了一种类似于人类思维的“系统 2”的过程，即 step-by-step、可解释的且能导致更准确结果的过程。这些能力对于智能体具有重要的作用和价值。
CVPR2024：PKINet(上下文锚点注意力机制)
kuailezzf的博客
11-06 414
PKINet采用无扩展的多尺度卷积核来提取不同尺度的目标特征并捕获局部上下文。具体来说，首先，PKINet不依赖于大核卷积或膨胀卷积来扩展感受野，而是利用无扩展的深度卷积（inception-style）来提取不同感受野之间的多尺度纹理特征。最后，这两个模块协同工作，促进了局部和全局上下文信息的自适应特征提取，从而提高了遥感目标检测的性能。为了解决上述问题，以前的方法是通过大核卷积或膨胀卷积来扩展主干网络的空间感受野。但是，前者通常会引入相当大的背景噪声，而后者可能会产生过于稀疏的特征表示。
Python的自然语言生成与对话系统介绍
余生的博客
11-05 798
自然语言生成(Natural Language Generation，NLG)和对话系统是人工智能领域的重要研究方向。NLG 涉及将计算机理解的信息转换为自然语言文本，而对话系统则涉及计算机与用户之间的自然语言交互。Python 作为一种易于学习、易于使用的编程语言，在这两个领域中发挥了重要作用。核心概念与联系核心算法原理和具体操作步骤数学模型公式详细讲解具体最佳实践：代码实例和详细解释说明实际应用场景工具和资源推荐总结：未来发展趋势与挑战。
Meta AI 推出机器人开源项目：推动触觉感知和人机交互的前沿研究
weixin_41496173的博客
11-04 902
在人工智能的各个领域中，**机器人技术的开源项目**成为了近年来的焦点。随着Meta AI（FAIR）发布了最新的触觉感知和机器人交互开源工具包，AI与机器人技术的结合再次引起广泛关注。通过开源的触觉编码工具、标准化的机器人手部平台以及人机协作基准，Meta AI为研究者和开发者提供了大量的创新工具。这一举措不仅促进了触觉感知和灵巧性研究的进步，也为多种应用场景下的机器人智能增强奠定了基础。 本文将深入解读Meta最新发布的触觉和人机交互研究成果，包括Meta Sparsh、Digit 360和Digit
数字孪生+AI：从数据、算法、场景层面全面驱动园区迈向智能化
wlsjdszls的博客
11-06 438
在碳排放管理方面，平台整合了园区内的水、电、暖、气等能耗数据，通过直观的界面展示能耗趋势，进行综合考评，并实时在线监测区域能源动态。在数字化转型的浪潮下，数字孪生+AI的联合为智慧园区的管理与运营提供了一整套高效的解决方案，不仅提升了园区的运营效率，还改善了人们的体验。Frontop智慧园区平台深度整合园区内所有资源，构建了一个统一的物联网设备管理体系，能够实时监控整个园区的运营状态，并运用AI技术进行设备故障的智能预测，实现了从人为管理到数据驱动治理的转变，显著提升了产业园的运营效率。
EMNLP 2024 BoF 活动报名：用 Embeddings、Reranker、小型语言模型打造更优搜索！
Jina AI 的博客
11-07 234
在 2023 年 EMNLP 大会上，Jina AI 举办了 一场关于向量技术前沿探索的 Bird of a Feather (BoF) 会议，超过 80 位参会者，包括 DeepMind、Meta 等机构的顶尖研究员以及行业专家们，一起讨论向量前沿技术的最新进展。<<< 闪电分享、圆桌讨论和午餐会>>>今年的 EMNLP 2024 在迈阿密举行，我们将延续在...
AI 写作（三）文本生成算法：创新与突破（3/10）
最新发布
小相探索IT世界
11-08 357
本文深入探讨了 AI 写作中的多种文本生成算法。首先介绍了生成式与判别式模型的区别与特点，包括优化准则、对观察序列的处理、训练复杂度以及支持的训练方式等方面的差异，并对比了它们在 AI 写作中的优缺点。接着详细阐述了长短期记忆网络（LSTM）在文本生成中的应用，包括技术原理与结构、实现步骤与流程以及应用示例与效果。还深入分析了 Transformer 与自注意力机制，介绍了其模型架构与组成、自注意力机制的作用以及在 AI 写作中的重要作用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值