计算机视觉---目标检测（Object Detecting）概览

于 2025-05-13 08:00:00 发布
阅读量572 收藏 10
点赞数 20
分类专栏： 计算机视觉 文章标签： 计算机视觉 目标检测 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_80079642/article/details/147836307
版权

一、目标检测定义与核心任务

1. 定义

  • 任务：在图像/视频中定位并分类所有感兴趣目标，输出边界框（Bounding Box）和类别标签。
  • 核心输出：
    • 坐标：((x_1, y_1, x_2, y_2))（左上角+右下角）或 ((x, y, w, h))（中心+宽高）。
    • 类别：离散标签（如“汽车”“行人”）。
    • 置信度：目标存在的概率（用于后处理筛选）。
      在这里插入图片描述

2. 关键挑战

  • 多尺度变化：目标大小差异大（如远处车辆vs近处行人）。
  • 遮挡与模糊：部分目标被遮挡或成像质量差。
  • 类别不平衡：数据集中少数类别样本稀缺。
  • 实时性需求：自动驾驶等场景要求毫秒级响应。

在这里插入图片描述

二、发展历程：从传统方法到深度学习

1. 传统方法（2010年前）

  • 手工特征阶段：
    • HOG+SVM（2005）：梯度方向直方图提取边缘特征，SVM分类。
    • DPM（可变形部件模型）（2008）：基于滑动窗口，结合部件模板匹配，处理目标形变。
  • 缺陷：依赖人工设计特征，泛化能力弱，计算效率低。

2. 深度学习早期（2014-2017：两阶段检测器主导）

  • R-CNN系列：
    • R-CNN（2014）：首次将CNN引入目标检测，流程：选择性搜索生成2k候选框→CNN提取特征→SVM分类→回归调整边界框。缺点：耗时（单图47s），重复计算。
    • Fast R-CNN（2015）：引入ROI池化共享特征计算，联合优化分类与回归，速度提升至2s/图。
    • Faster R-CNN（2015）：提出区域建议网络（RPN）替代选择性搜索，端到端训练，首次实现实时性（17fps）。
  • 里程碑：证明深度学习在目标检测的绝对优势，奠定两阶段框架（候选框生成+分类回归）。

3. 单阶段崛起（2016-2020：效率优先）

  • YOLO系列：
    • YOLOv1（2016）：颠覆两阶段范式，直接将图像划分为(S×S)网格，每个网格预测边界框和类别，速度达45fps（牺牲部分精度）。
    • SSD（2016）：多尺度特征图预测，兼顾速度（59fps）与精度，首次在移动端可用。
    • YOLOv2-v3（2017）：引入锚框聚类、多尺度训练、FPN特征融合，精度接近两阶段模型，速度保持领先。
  • RetinaNet（2017）：提出焦点损失（Focal Loss）解决正负样本失衡，单阶段精度首次超越两阶段。

4. 无锚框与Transformer时代（2020-至今）

  • Anchor-Free：
    • CenterNet（2019）：通过关键点检测目标中心，回归宽高，避免锚框设计，简化流程。
    • FCOS（2019）：逐像素预测“是否属于目标”及相对位置，完全无锚，泛化能力强。
  • Transformer融合：
    • DETR（2020）：首次将Transformer引入检测，端到端消除NMS，通过集合预测直接输出结果，但收敛慢（500epochs）。
    • Swin Transformer（2021）：结合局部注意力与层次化特征，在COCO数据集刷新mAP纪录（58.7%）。
  • 轻量化与实时化：
    • YOLOv5/v6/v7/v8：持续优化网络结构（CSP模块、动态网络），适应边缘设备（如YOLOv8n在CPU达160fps）。
    • NanoDet/PP-YOLO：模型压缩技术（知识蒸馏、量化）推动移动端部署。

三、核心技术模块详解

1. 候选区域生成（两阶段检测器）

  • RPN（区域建议网络）：
    • 原理：在特征图上滑动窗口，生成锚框（预设不同尺度/比例），分类锚框为“前景/背景”，回归锚框偏移。
    • 优势：替代传统选择性搜索，生成建议框速度提升100倍。
  • 锚框设计：
    • 超参数：尺度（如32×32, 64×64）、比例（1:1, 1:2, 2:1），通常通过K-means聚类数据集真实框确定。
    • 问题：锚框数量多导致正负样本失衡（99%为背景），催生Focal Loss等优化。

2. 特征提取网络

  • 经典Backbone：
    • VGG（2014）：堆叠3×3卷积，奠定深度CNN基础。
    • ResNet（2015）：残差连接解决梯度消失，支持超深网络（如ResNet-101）。
    • DenseNet（2017）：密集连接复用特征，减少参数量。
  • 多尺度特征融合：
    • FPN（特征金字塔网络，2017）：自顶向下融合高层语义与底层细节，提升小目标检测。
    • PANet（2018）：增加自底向上路径，强化不同层级特征流动。
    • BiFPN（2020）：加权双向特征融合，动态调整跨层连接权重。
  • Transformer类Backbone：
    • Swin Transformer：分层窗口注意力，兼顾局部与全局建模，分辨率适配性强。
    • Vision Transformer（ViT）：纯Transformer架构，在大规模数据集预训练后性能超越CNN。

3. 分类与回归头

  • 分类任务：
    • 多类别softmax：输出类别概率分布，交叉熵损失优化。
    • 焦点损失（Focal Loss）：通过(\alpha)和(\gamma)参数降低简单样本权重，缓解正负/难易样本失衡。
  • 回归任务：
    • 目标：预测锚框/中心点到真实框的偏移量（(\Delta x, \Delta y, \Delta w, \Delta h)）。
    • 损失函数：
      • Smooth L1：对离群值不敏感，优于L2损失。
      • IoU Loss系列：
        • IoU（2016）：直接优化边界框重叠度，解决L1/L2不直接关联定位精度的问题。
        • GIoU（2019）：考虑包围框面积，处理不相交框的梯度消失。
        • DIoU/CIoU（2020）：进一步引入中心点距离和长宽比约束，收敛更快、定位更准。

4. 后处理：边界框筛选

  • NMS（非极大值抑制）：
    • 流程：按置信度排序→保留最高分框→抑制与最高分框IoU超过阈值（如0.5）的框→重复直至处理所有框。
    • 变体：
      • Soft-NMS：不直接删除高IoU框，而是降低其置信度，避免漏检遮挡目标。
      • DIoU-NMS：用DIoU替代传统IoU，考虑中心点距离，更适合密集目标场景（如人群）。
  • 锚框解码：
    • 将模型预测的偏移量转换为真实坐标，需考虑锚框初始尺寸和特征图缩放因子。

5. 无锚框机制（Anchor-Free）

  • 关键点检测：
    • CornerNet（2018）：检测目标的左上角和右下角关键点，组合成边界框。
    • CenterNet（2019）：预测目标中心热力图，直接回归宽高，无需分组关键点。
  • 逐像素预测：
    • FCOS（2019）：每个像素若位于目标框内，则预测其到框四边的距离（l, t, r, b），通过中心度（Centerness）抑制远离中心的低质量框。
  • 优势：消除锚框超参数（如数量、尺度），减少内存占用，提升泛化能力（尤其未知形状目标）。

四、主流算法分类与对比

1. 两阶段检测器（Two-Stage）

算法核心创新优势劣势典型应用
Faster R-CNNRPN替代选择性搜索精度高（COCO mAP 43.5%）速度慢（5fps）高精度场景
Mask R-CNN增加实例分割分支同时实现检测与分割计算量翻倍医学影像分析
Cascade R-CNN级联多个回归器逐步优化框极端IoU下精度提升推理时间更长工业质检

2. 单阶段检测器（One-Stage）

算法核心创新优势劣势典型应用
YOLO系列网格直接预测框+类别速度极快（v8s达220fps）小目标检测较弱自动驾驶
SSD多尺度特征图预测移动端友好（30fps）锚框设计依赖经验手机摄像头
RetinaNet焦点损失解决样本失衡单阶段精度首次超越两阶段计算量较高通用检测

3. 无锚框检测器（Anchor-Free）

算法核心思路优势劣势典型应用
CenterNet中心点+宽高回归模型简单，无锚框设计密集目标易漏检无人机巡检
FCOS逐像素距离回归+中心度泛化能力强需多层特征融合遥感目标检测

4. Transformer基检测器

算法核心思路优势劣势典型应用
DETRTransformer集合预测+二分匹配端到端无NMS收敛慢（500epochs）学术研究
Deformable DETR可变形注意力减少计算量速度提升3倍精度略降视频检测
Swin Transformer Detector层次化Transformer+窗口注意力刷新COCO mAP至58.7%参数量大（100M+）科研竞赛

五、评估指标：全面衡量性能

1. 精度指标

  • mAP（平均精度均值）：
    • 计算每个类别在不同置信度阈值下的精确率-召回率曲线（AP），再取所有类别的平均值。
    • COCO数据集采用多IoU阈值（0.5到0.95，步长0.05）的平均值（mAP@0.5:0.95），更严格评估定位精度。
    • 细分指标：mAP_s/mAP_m/mAP_l（小/中/大目标）。
  • 召回率（Recall）：检测到的真实目标占所有真实目标的比例（避免漏检）。
  • 精确率（Precision）：检测结果中正确目标的比例（避免误检）。

2. 效率指标

  • FPS（帧率）：每秒处理图像数，衡量实时性（≥30fps为流畅）。
  • 模型复杂度：
    • 参数量（Params）：影响模型大小（如YOLOv8n为3.2M，DETR为85M）。
    • 计算量（FLOPs）：浮点运算次数，反映推理耗时（如ResNet-50约4FLOPs）。

3. 其他指标

  • F1分数：精确率与召回率的调和平均，平衡两者的综合指标。
  • 推理延迟：端到端处理时间（包括数据加载、前向传播、后处理），硬件敏感（GPU/CPU/NPU差异大）。

六、训练技巧：提升模型性能的关键

1. 数据增强

  • 基础增强：翻转、裁剪、缩放、颜色抖动，提升数据多样性。
  • 高级增强：
    • Mosaic（YOLOv4）：拼接4张图像，丰富小目标数量，增强上下文关联。
    • MixUp：融合两张图像及其标签，抑制模型对单一样本的过拟合。
    • CutOut/CutMix：随机遮挡区域或替换区域，提升模型抗遮挡能力。

2. 样本平衡策略

  • 难例挖掘：
    • OHEM（在线难例挖掘，Fast R-CNN）：选择损失最高的样本训练，聚焦难分样本。
    • 焦点损失（RetinaNet）：通过指数衰减降低简单样本权重，无需显式筛选。
  • 类别平衡：
    • 过采样少数类、欠采样多数类，或使用标签平滑（Label Smoothing）缓解类别不平衡。

3. 多尺度训练与测试

  • 训练阶段：YOLO动态调整输入图像尺寸（如416×416到608×608），提升模型对不同尺度目标的鲁棒性。
  • 测试阶段：多尺度推断（MS-COCO标准），融合不同尺寸结果，提升小目标检测精度。

4. 损失函数优化

  • 定位损失：优先选择CIoU Loss（同时优化重叠度、中心点距离、长宽比），替代传统Smooth L1。
  • 分类损失：结合Focal Loss（处理正负失衡）与Label Smoothing（防止过自信）。
  • 多任务联合优化：如Mask R-CNN同时优化检测损失与分割损失，共享底层特征。

5. 模型优化

  • 骨干网络选择：轻量模型（如MobileNet、ShuffleNet）用于移动端，深层网络（ResNet-101）用于服务器端。
  • 网络结构设计：引入CSP模块（YOLOv5）减少计算量，使用深度可分离卷积（Xception）降低参数量。
  • 预训练与迁移学习：在ImageNet上预训练骨干网络，再在检测数据集上微调，加速收敛并提升精度。

七、应用场景：技术落地的核心领域

1. 安防与监控

  • 人脸检测与识别：门禁系统、犯罪追踪（需高实时性与精度）。
  • 异常行为检测：摔倒检测、入侵报警，结合视频序列分析（如YOLO+DeepSORT跟踪）。

2. 自动驾驶

  • 多传感器融合：摄像头检测+雷达点云定位，处理复杂路况（如特斯拉FSD芯片部署YOLO变体）。
  • 实时性要求：200ms内完成检测（对应5fps），支持紧急制动决策，典型算法：YOLOv8、BEVDet（鸟瞰图检测）。

3. 医疗影像

  • 病灶检测：CT/MRI中的肿瘤、结节定位，需极高精度（mAP>90%），常用算法：3D目标检测（如VNet）、弱监督检测（仅图像级标签训练）。
  • 挑战：数据稀缺、标注成本高，依赖迁移学习与数据增强。

4. 工业与遥感

  • 缺陷检测：电路板焊点缺陷、机械零件裂纹，要求像素级定位，常用算法：Faster R-CNN（高精度）、CenterNet（快速部署）。
  • 遥感目标检测：无人机/卫星图像中的船舶、车辆检测，需处理旋转目标（使用RRPN旋转锚框）和小目标密集场景。

5. 消费级应用

  • 手机摄影：实时物体识别（如Google Lens）、人像虚化（检测人体边界），依赖轻量模型（如SSD-MobileNet）。
  • 电商与物流：商品检测（货架补货）、包裹分拣，结合OCR识别提升效率。

八、当前挑战与未来方向

1. 核心挑战

  • 长尾分布：少数类别样本不足，导致漏检（如罕见鸟类检测），需小样本学习（Few-Shot Learning）与元学习。
  • 开放世界检测：未知类别误判为已知类别，需引入开放集识别（Open-Set Recognition），输出“未知”类别。
  • 鲁棒性不足：对抗样本攻击（如贴纸误导自动驾驶检测）、极端环境（低光照、雨雾）性能骤降，需对抗训练与域适应（Domain Adaptation）。

2. 未来研究方向

  • 高效检测架构：
    • 动态网络（Dynamic Network）：根据输入复杂度自适应调整计算量（如YOLOv8的动态尺度）。
    • 神经架构搜索（NAS）：自动设计最优网络结构，平衡精度与速度。
  • 多模态融合：
    • 结合视觉、红外、激光雷达（LiDAR）数据，提升复杂场景检测能力（如自动驾驶多传感器融合模型）。
    • 视频时空建模：引入3D CNN或Transformer处理时序信息，优化视频检测与跟踪（如DETR3D）。
  • 自监督与弱监督：
    • 利用海量无标注数据预训练（如MAE掩码自编码器），降低标注成本。
    • 弱监督检测：仅用图像级标签训练（如ILSVRC数据集），通过注意力机制定位目标区域。
  • 轻量化与边缘部署：
    • 模型压缩（剪枝、量化、知识蒸馏）：使YOLOv8n在ARM芯片达100fps。
    • 端云协同：边缘设备实时检测，云端处理复杂场景，构建分布式检测系统。

九、总结

目标检测历经从手工特征到深度学习的变革，形成两阶段、单阶段、无锚框、Transformer四大技术路线，覆盖精度、速度、泛化能力的不同需求。未来发展将聚焦高效化（边缘部署）、鲁棒化（复杂环境）、智能化（自监督/多模态），推动技术在安防、自动驾驶、医疗等领域的深度落地。掌握核心模块（特征提取、锚框机制、损失函数、后处理）与主流算法的优缺点，是理解和改进目标检测系统的关键。

深度学习系列资料总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
07-17 2万+
说明本系列深度学习资料集合包含机器学习、深度学习等各系列教程，主要以计算机视觉资料为主，包括图像识别、分类、检测、分割等，内容参考Github及网络资源，仅供个人学习。深度学习定义一般是指通过训练多层网络结构对未知数据进行分类或回归深度学习分类有监督学习方法——深度前馈网络、卷积神经网络、循环神经网络等；无监督学习方法——深度信念网、深度玻尔兹曼机，深度自编码器等。手写机器学习笔记github机器学习算法公式推导以及numpy实现github人工智能相关术语link。..................
Python编程实例-使用Panda进行数据清洗
视觉与物联智能
09-09 494
本文将使用pandas进行数据清洗的过程分解为7个实用步骤。我们将创建一个样本数据集并完成数据清洗步骤。
机器视觉目标检测文献回顾及综述
senbinyu的博客
08-15 1834
为读者正确理解意思，目录用英文表示，正文为中文。更多的关于计算机视觉的综述可查阅https://github.com/senbinyu/Computer_Vision_Literatures 目录表 1. Review papers 2. Detection paradigms 2.1 Two-stage detectors 2.2 One-stage detectors 3. Feature representing (feature extraction and fusion) 3.1 mul
图像 检测 - FCOS3D: Fully Convolutional One-Stage Monocular 3D Object Detection (ICCVW 2021)
77wpa的博客
08-06 1260
单目3D目标检测具有成本低的优点，是自动驾驶的一项重要任务。由于其固有的不适定性，它比传统的2D情况更具挑战性，这主要反映在缺乏深度信息上。2D检测的最新进展为更好地解决这个问题提供了机会。然而，使通用的2D检测器在该3D任务中工作是不平凡的。在本文中，我们通过建立在全卷积单级检测器上的实践来研究这个问题，并提出了一个通用框架FCOS3D。具体来说，我们首先将通常定义的7-DoF 3D目标转换到图像域，并将其解耦为2D和3D属性。
计算机视觉中 RNN 应用于目标检测
leadai的博客
01-11 5396
北京 上海巡回站 | NVIDIA DLI深度学习培训2018年1月26/1月12日NVIDIA 深度学习学院 带你快速进入火热的DL领域阅读全文                                                       >正文共3278个字，16张图，预计阅读时间9分钟。深度学习在计算机视觉领域取得的巨大的发展，最近几年CNN一直是目前主流模型所采取的架构。最近
深度学习目标检测2013-2018单双阶段主流模型概览及详解
xiao_lxl的专栏
02-27 2921
背景：深度学习引入目标检测领域以来，给目标检测领域带来了很多突破性的进展，文章“Deep Learning for Generic Object Detection: A Survey”由香港中文大、国防科技大、芬兰奥卢大学、澳大利亚悉尼大学、加拿大滑铁卢大学的研究者共同发布的一篇综述文章，系统的总结了2013年深度学习引入目标检测领域以来的进展。非常具有参考意义。 目的: 本文在该论文基础上，总...
ECCV 2018 目标检测亮点算法概览
星智云图工作室（StarImagine Studio）
11-24 672
转载自：AI之路  原文：https://blog.csdn.net/u014380165/article/details/82025720 这篇博客记录我个人比较感兴趣的 ECCV2018 关于目标检测（object detection）的一些文章。 1、IOU-Net 论文：《 Acquisition of Localization Confidence for Accurate Obje...
【论文总结】Incremental Few-Shot Object Detection（附翻译）
小张好难瘦的博客
10-28 3080
Incremental Few-Shot Object Detection 小样本增量目标检测 论文地址：https://arxiv.org/abs/2003.04668 代码暂未公开 思路：文章使用方法 Opened CenterNet（ONCE）以CenterNet单阶段检测方法为基础，加入一个元学习训练的类别编码生成模型来注册新类。新类样本只需要在 meta-training 阶段以前向传播方式注册，不需要复习基类或迭代更新。Centernet: 特征提取网络使用Centernet: 该..
计算机视觉最新进展概览(2021年6月6日到2021年6月12日)
weixin_36670529的博客
02-25 1091
1、A Dataset And Benchmark Of Underwater Object Detection For Robot Picking 2、MST: Masked Self-Supervised Transformer for Visual Representation 3、
Apple - Core Image
AI工程化、开源分享、文档翻译、代码笔记
06-06 1690
一、关于 Core Image 概览 Core Image 高效且易于使用，可处理和分析图像 查询 Core Image 以获取过滤器及其属性的列表 Core Image 可实现实时视频性能 使用图像累加器支持基于反馈的处理 创建和分发 自定义内核 和 过滤器 也可以看看 二、处理图像 1、概述 2、图像是过滤器的输入和输出 3、滤镜描述图像处理效果 3.1 链接过滤器以实现复杂效果 3.2 使用特殊过滤器类型获得更多选项 4、与其他框架集成 4.1 在 UIKit 和 AppKit 中处理静态图像 4.2
The JavaScript Anthology
02-20
- **Detecting Browser Differences（检测浏览器差异）**：如何判断不同浏览器间的差异并作出相应调整。 - **Using JavaScript with CSS（JavaScript与CSS结合使用）**：CSS选择器与JavaScript的结合应用。 - **Time...
【Film Shot】Shot transition detection
突围
02-15 110
【Film Shot】Shot transition detection
计算机视觉——基于树莓派的YOLO11模型优化与实时目标检测、跟踪及计数的实践
知来者逆的博客
05-01 2882
YOLO11模型是专门为边缘设备优化的目标检测模型，与YOLOv8相比，它在显著降低模型复杂度（最多降低37%）的同时，仍保持了较高的检测精度（约85%的平均精度均值）。这种优化使得YOLO11能够在资源受限的树莓派上实现高效的实时目标检测，为边缘设备上的复杂计算机视觉任务提供了可能。其轻量级的模型结构和高效的推理性能，使其成为在树莓派上部署目标检测应用的首选模型之一。
【计算机视觉】基于Python的相机标定项目Camera-Calibration深度解析
最新发布
weixin_43988131的博客
05-11 861
基于Python的相机标定项目Camera-Calibration深度解析
# YOLOv3：深度学习中的目标检测利器
www_pp_的博客
05-10 1447
在计算机视觉领域，目标检测是一项核心任务，它涉及到识别图像或视频中的物体，并确定它们的位置。随着深度学习技术的快速发展，目标检测算法也在不断进步。YOLO（You Only Look Once）系列算法以其速度快、易于实现而受到广泛关注。本文将深入探讨YOLOv3，这是YOLO系列中的一个重要版本，它在准确性和速度之间取得了很好的平衡。
# YOLOv2：目标检测的升级之作
www_pp_的博客
05-09 1152
YOLOv2 作为 YOLO 系列的一个重要版本，通过一系列的改进，在目标检测的精度和速度方面都取得了显著的进步。它不仅继承了 YOLOv1 的高效性，还解决了 YOLOv1 存在的一些问题，如定位精度不高、对小目标检测效果不佳等。YOLOv2 的出现为实时目标检测任务提供了一个更加可靠的解决方案，推动了目标检测技术的发展。然而，目标检测领域仍然面临着许多挑战，如如何进一步提高对复杂场景中目标的检测精度、如何更好地处理遮挡和光照变化等问题。
【计算机视觉】OpenCV项目实战：基于OpenCV的图像分割技术深度解析与实践指南
weixin_43988131的博客
05-10 867
OpenCV项目实战：基于OpenCV的图像分割技术深度解析与实践指南
【计算机视觉】OpenCV实战项目：FunnyMirrors：基于OpenCV的实时哈哈镜效果实现技术解析
weixin_43988131的博客
05-10 990
FunnyMirrors：基于OpenCV的实时哈哈镜效果实现技术解析
【基础复习笔记】计算机视觉
yewanyuan的博客
05-08 1282
计算机视觉基础，用于自己复习的笔记，想到的知识点都会往里面加
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值