【OpenMMLab AI训练营第二期】Class6:目标检测与MMDetection

已于 2023-06-12 23:20:27 修改
阅读量167 收藏
点赞数
分类专栏： OpenMMLab AI Camp S2 文章标签： 人工智能 目标检测 计算机视觉
于 2023-06-10 18:20:16 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lostcorner/article/details/131144144
版权

目标检测与MMDetection

视频链接：目标检测与MMDetection

目标检测的基本范式

什么是目标检测

目标检测是在给定的图片中用矩形框框出所有感兴趣物体同时预测物体类别的过程。

  • 图像分类和目标检测的异同
    在这里插入图片描述
    目标检测在生活中有非常广泛的应用，例如人脸识别、智慧城市、自动驾驶等。也可作为其他下游视觉任务的基础，例如OCR、姿态识别等等。

发展

在这里插入图片描述
早期是传统方法DPM，在进入深度学习阶段之后就有了更多算法。

  • 根据算法阶段来划分。 首先出现的是两阶段算法，以R-CNN和Faster R-CNN为代表；此后是单阶段算法，以YOLO和SSD为代表。
  • 根据是否使用Transformer。 2020年左右，涌现了诸多基于Transformer的方法，例如DETR、ViT等等。
  • 如今基于CNN和TR的方法日趋成熟，学术界开始在探讨Open Vocabulary Detection，希望目标检测算法能够不局限在有标注的数据集中。

目标检测技术的演进

在这里插入图片描述

基础知识

框

在这里插入图片描述
是横平竖直的框，如果是旋转的是旋转目标检测这一小类。

交并比IoU

如果存在多个框，那么就需要考虑框之间的关系。最常用的方法就是交并比。
在这里插入图片描述
IoU是介于[0,1]的数值。后续也有很多新的IoU方式，例如CIoU、DIoU等等

目标检测的基本思路

滑窗

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
如上述图片所示：滑窗法首先是通过设定一个固定大小的窗口，然后按照一定规律遍历图像所有位置。在遍历的时候根据滑窗对图像进行一个裁剪，然后对滑窗内的图片进行分类，根据分类分数来判断属于前景还是背景。
在这里插入图片描述
但是滑窗方法的效率是非常低的。
在这里插入图片描述
为了减少不同滑窗中被同一卷积计算的冗余，可以用卷积对全图进行计算，然后通过卷积的位置一致性取出对应位置的特征。
在这里插入图片描述

感受野

在这里插入图片描述
感受野的计算
在这里插入图片描述
有效感受野（感受野的大小）
在这里插入图片描述

使用卷积实现密集预测

在这里插入图片描述
不同感受野自然形成了一系列等距离分布的滑窗。本来在每个滑窗的部分都有线性分类的过程，可以对其进行维度上的转置，得到一个 1 × 1 × C i n × C o u t 1 \times 1 \times C_{in} \times C_{out} 1×1×Cin​×Cout​的卷积，实现特征图的密集预测。这样就可以一次性计算出所有位置上包含物体的概率。

边界框回归

在这里插入图片描述
在这里插入图片描述
神经网络对于回归比起分类任务还是比较困难的，所以设置一个锚框还是能降低难度。当然锚框也不是纯粹为了回归任务，也可以检测出不同大小的物体还有重叠物体。

非极大值抑制

在这里插入图片描述
在这里插入图片描述

预测结果中，可能多个预测结果间存在重叠部分，需要保留交并比最大的、去掉非最大的预测结果，这就是非极大值抑制（Non-Maximum Suppression，简写作NMS）。在这里插入图片描述

密集预测的流程

在这里插入图片描述

  1. 图像输入到卷积网络里产生一个特征图，然后用 1 × 1 1 \times 1 1×1的卷积去卷特征图，得到类别概率和预测结果
  2. 把不是背景的框保留
  3. 基于框的位置，加上预测的边界
  4. NMS

密集预测模型的训练

在这里插入图片描述
GT怎么映射到密集预测中呢？因为标注的时候只会标出物体，那么如何用这个稀疏的标注去产生一个密集的GT，这个过程就是匹配。
在这里插入图片描述
采样：自然的想，存在以下两种情况

  1. 背景较多，不能训练成一个预测背景的检测器
  2. 前景周围的模糊边界，也不该被预测到，删去，因为作为前景和背景都不太好。

密集检测的思路

在这里插入图片描述
这是一个抽象的基本范式。

多尺度检测与FPN

在这里插入图片描述

单阶段&无锚框检测器选讲

RPN

YOLO、SSD

Focal Loss与RetinaNet

FCOS

YOLO系列选讲

lostcorner
关注
专栏目录
OpenMMLab AI 实战训练营 CLASS5 MMDetection教学
m0_74046692的博客
02-08 88
在 OpenMMLab 项目中，所有这些项目都涵盖在一个配置文件中，一个配置文件定义了一个完整的训练 过程。− 训练策略 梯度下降算法、学习率参数、batch_size、训练总轮次、学习率变化策略等等。− 数据集 用什么数据训练模型：数据集划分、数据文件路径、数据增强策略等等。− 一些辅助功能 如打印日志、定时保存checkpoint等等。− optimizer、lr_config 等字段定义训练策略。− load_from 字段定义与训练模型的参数文件。− 模型结构 模型有几层、每层多少通道数等等。
SSD目标检测训练自己的数据集：计算数据集当中每一个类别的框的数量
游戏引擎研发进阶之路
10-23 3660
我在看有个同行的博客，发现他把SSD的训练总结的非常好，我用他的训练方法，使用VOC2007数据集进行训练跑通了代码。环境是WINDOWS10+tensorflow-gpu1.9版本。但是这个大兄弟的最终的类别框的计算代码有问题。这里把我写的代码与诸位分享一下。针对的是VOC2007的20分类数据集，最初发现我的输出结果与那个仁兄的训练数据对不上，我仔细检查了areoplane类别的计算结果，发现...
[论文翻译]Detecting Everything in the Open World: Towards Universal Object Detection
Javier.Lin_HUST的博客
07-04 1574
在本文中，我们正式提出了通用目标检测，其目的是检测每个场景并预测每个类别。对人工标注的依赖、有限的视觉信息以及开放世界中新奇的类别严重制约了传统检测器的普适性。我们提出了UniDetector，一个通用的物体检测器，它具有识别开放世界中大量类别的能力。UniDetector通用性的关键点在于：1 )通过图像和文本空间的对齐，利用多源异构标签空间的图像进行训练，保证了通用表示的充足信息。2 )由于视觉和语言模态都提供了丰富的信息，它可以很容易地泛化到开放的世界，同时保持可见类和不可见类之间的平衡。
基于MMRotate训练自定义数据集 做旋转目标检测 2022-3-30
热门推荐
qq_43581224的博客
03-30 2万+
本文目录简述1.MMrotate下载2.环境安装3.自定义数据集制作3.1 roLabelImg 打标签3.2 生成DOTA数据集格式的标签3.3 数据集裁剪（split）4.修改配置文件5.训练并测试 简述 MMRotate 是一款基于 PyTorch 的旋转框检测的开源工具箱，是 OpenMMLab 项目的成员之一。里面包含了rcnn、faster rcnn、r3det等各种旋转目标的检测模型，适合于遥感图像领域的目标检测。 1.MMrotate下载 MMrotate包下载：下载链接 目录结构如下
阿里云实践训练营第七天——Class6 NAS快速搭建个人网盘
weiliaaaaaa的博客
06-28 586
NAS快速搭建个人网盘 一.安装Owncloud 执行以下命令，添加一个新的软件源。 rpm --import https://download.owncloud.org/download/repositories/10.0/CentOS_7/repodata/repomd.xml.key wget http://download.owncloud.org/download/repositories/10.0/CentOS_7/ce:10.0.repo -O /etc/yum.repos.d/ce:10
Class6：初学数据库之MySQL基础操作
liuxiao0320的博客
06-01 221
数据库的集中控制优点： 1、 减少重复性 2、 数据一致性 3、 数据共享 4、 可建立数据库标准：不重复、有效、方便管理 5、 便于维护数据完整性 6、 数据安全性 发展史 1、 萌芽：文件系统 磁盘 2、 初级阶段：第一代数据库 层次模型、网状模型 3、 中级阶段：第二代数据库 关系型数据库（目前大部门公司使用）、结构化查询语言 4、 高级阶段：新一代数据库 “关系-对象”型数据库 关系型数据库 关系模型：以二维表来保存数据，以关系（用外键来体现）来描述表和表之间的联系和一种数据库设计模型。 DBS（数
阿里云ECS训练营Class6
辞吴
03-27 118
阿里云ECS训练营Class6 快速搭建LAMP环境 教学链接： https://developer.aliyun.com/adc/scenario/6869de098ad44fc8a1560a1836a7c5f2 点击体验 创建资源和连接ECS服务器前面已经讲过了，大家也可以按照教学练习 安装Apache服务 Apache是世界使用排名第一的Web服务器软件。它可以运行在几乎所有广泛使用的计算机平台上，由于其跨平台和安全性被广泛使用，是最流行的Web服务器端软件之一。 执行如下命令，安装Apache服
Tensorflow 训练自己的目标检测与识别模型（四）
那都不是事
01-03 3285
Tensorflow 构建自己的目标检测与识别模型 模型训练 前面对数据集的创建以及图像数据增强进行了叙述，见链接：https://blog.csdn.net/weixin_41644725/article/details/85678348 和 https://blog.csdn.net/weixin_41644725/article/details/85687049 接下来对项目中的配置进行...
通信与网络中的宇瞻推出microSDHC class6 4GB/8GB手机内存卡
11-25
随着新一代手机标榜体积小巧、容易携带以及更多领先技术功能的同时，原本的microSD内存卡仅至2GB容量已无法满足影片、音乐及多媒体储存之需求，为此宇瞻(Apacer)新推出microSDHC class6 4GB/8GB容量内存卡，以符合高...
视频中工程代码 class6_BCD_Counter
05-31
视频中工程代码 class6_BCD_Counter视频中工程代码 class6_BCD_Counter视频中工程代码 class6_BCD_Counter视频中工程代码 class6_BCD_Counter视频中工程代码 class6_BCD_Counter视频中工程代码 class6_BCD_Counter...
Class6.zip-test
05-14
标题“Class6.zip-test”可能指的是一个用于测试的压缩文件，其中包含了与第六类或第六阶段相关的资料。这个描述简洁，没有提供太多具体信息，但我们可以假设它可能包含了一些编程、软件开发或IT课程中的练习、示例...
阿里云高校训练营-class6-感悟
weixin_45493518的博客
01-26 151
这几天我接触到了以前没有接触到的东西，像ecs，docker。一开始基本懵逼，在大佬的帮助下，自己也慢慢上道。亲自动手搭建应用成功，那种感觉是很nice！非常幸运有这次机会，感谢阿里云！ 阿里云高校计划，陪伴两千多所高校在校生云上实践、云上成长。在这里你可以领用免费的cpu资源，还可以参加免费训练营，实践提高：https://developer.aliyun.com/adc/student/ ...
DINO&DINO v2：颠覆自监督视觉特征表示学习
家鸽的代码屋
10-15 1072
DINO系列学习总结
深度学习速通系列:中文命名实体识别（NER）数据集大全（含链接）
Ven%的博客
10-16 326
训练集8001条、验证集1000条、测试集1001条。：在清华大学开源的文本分类数据集THUCTC基础上进行细粒度命名实体标注，包含地址、书名、公司、游戏、政府、电影、姓名、组织机构、职位、景点等类别。：基于淘宝电商数据制作的NER数据集，包括商品名称、商品型号、人名、地名等类别。：基于新浪财经收集的上市公司高管简历，标注了国籍、教育背景、地名、人名、组织名、专业、民族、职称等8种实体。：由Boson提供，包含时间、地点、人名、组织名、公司名、产品名等类别，共2000个段落。
目标检测系统中需要【重新训练模型】说明
2401_85556416的博客
10-13 433
打开"ultralytics\cfg\datasets\SODA10M.yaml"文件。将SODA10M.yaml的第一行数据集路径修改为自己数据集路径。以【基于YOLOv8的车辆行人目标检测系统】训练为例进行说明。训练模型的权重保存路径在"runs\detect\train\weights"目录下。给出的项目中已包含训练好的模型以及训练的结果，可直接使用。（3）运行main_model_train.py程序。（1）如果环境还没有搭建好的，首先要搭建训练环境。（4）训练模型保存路径。
新质技术之生成式AI、大模型、多模态技术开发与应用研修班
Lynn121的博客
10-17 530
在当前的科技飞速发展的时代，生成式人工智能、大模型、多模态技术的出现正为企业的数字化转型带来革命性变革。该研修班特别设计了为期四天的课程，从生成式AI的核心概念入手，逐步深入探讨大模型的应用开发以及多模态技术的集成运用。通过此次研修班，学员不仅能获得最新的AI技术知识，还能获得行业权威机构的职业技能认证，这将极大提升其在未来职场中的竞争力。本次研修班采取理论与实战相结合的培训模式，旨在让学员不仅能够全面掌握生成式AI、大模型和多模态技术的最新理论，还能通过实战练习，掌握将这些技术应用于实际业务。
最近AI产品开发的热点在什么领域？
最新发布
m0_46568584的博客
10-18 903
更贴合人类的思考方式：去年，不管是ChatGPT还是通义千问、KIMI等，经常会遇到问着问着他就“傻”了，开始答非所问，就我个人使用而言，从今年下半年开始，模型越来越聪明，他会给我提供一些新奇的想法，而且还会先我一步思考。AI产品开发中，搜索领域已成为炙手可热的焦点，背后的原因还是很值得说一说的。《黑神话：悟空》不仅在短短3天内销量突破1000万套，成为有史以来最快达到这一销售里程碑的单机游戏之一，更重要的是，它展现了AI技术在游戏领域带来的巨大潜力，包括AI驱动的NPC、AI生成的场景、AI辅助开发等。
使用MyDiskTest检测U盘与TF卡：避免扩容欺诈
MyDiskTest是一款用于检测U盘和TF卡等移动存储设备真实容量、坏块以及读写速度的工具，帮助用户避免购买到扩容、质量低劣的产品。TF卡，又称microSD卡，是一种高容量的SD存储卡，尤其适用于移动设备。SDHC是高容量SD...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值