图解YOLO(You Only Look Once)目标检测(v1-v5)

1. YOLO系列整体介绍
 

YOLO属于深度学习经典检测方法中的单阶段(one - stage)类型,与两阶段(two - stage,如Faster - rcnn、Mask - Rcnn系列)方法相对。


不同模型性能

单阶段方法的最核心优势是速度非常快,适合做实时检测任务,但通常检测效果不如两阶段方法


 
2. 指标分析
 

map指标:综合衡量检测效果,不能仅依靠精度(Precision)和召回率(Recall)来评估检测模型性能。


 
IOU(交并比):计算公式为IOU=\frac{Area\ of\ Overlap}{Area\ of\ Union},用于衡量预测框与真实框的重叠程度。
 


Precision和Recall

Precision(精度)公式为Precision =\frac{TP}{TP + FP}

Recall(召回率)公式为Recall =\frac{TP}{TP + FN}


 基于置信度阈值来计算,例如分别计算0.9;0.8;0.7

0.9时:TP+FP = 1,TP = 1 ;FN = 2;Precision=1/1;Recall=1/3;


AP与MAP

AP(Average Precision)计算需要考虑所有阈值,MAP(Mean Average Precision)是所有类别的平均AP,通过Precision - Recall曲线来理解。
 


3. YOLO - V1
 
 

核心思想与方法:

经典的one - stage方法,把检测问题转化成回归问题,使用一个CNN即可完成检测任务。


 
应用领域:可以对视频进行实时检测,应用领域广泛。
 
性能指标对比


 
网络架构:输入图像后经过一系列卷积层(CR)、全连接层(FC)处理,最终输出预测结果。7×7表示最终网格的大小,每个网格预测B个边界框,每个边界框包含位置(X, Y, H, W)、置信度C等信息。

7×7表示最终网格的大小,每个网格预测B个边界框,每个边界框包含位置(X, Y, H, W)、置信度C等信息。

每个数字的含义:

10 =(X,Y,H,W,C)*B(2个)当前数据集中有20个类别,

7*7表示最终网格的大小(S*S)*(B*5+C)


损失函数:包含位置误差、置信度误差(分含有物体和不含物体两种情况)、分类误差。


NMS(非极大值抑制)


优点与问题:优点是快速、简单;问题在于每个Cell只预测一个类别,重叠物体检测存在困难,小物体检测效果一般,长宽比可选但单一。


4. YOLO - V2


 
整体提升:相比YOLO - V1更快、更强,在VOC2007数据集上mAP达到78.6。


 
改进点
 
Batch Normalization:舍弃Dropout,卷积后全部加入Batch Normalization,使网络每一层输入归一化,收敛更容易,mAP提升2%。
 
更大的分辨率:V1训练和测试分辨率不同,训练时用的是224*224,测试时使用448*448,可能导致模型水土不服。V2训练时额外进行10次448×448的微调,使用高分辨率分类器后,mAP提升约4%。
 
网络结构:采用DarkNet架构,实际输入为416×416,没有FC层,5次降采样,通过1×1卷积节省参数。


 
聚类提取先验框:通过K - means聚类确定先验框,使预测的box数量更多(13×13×n),先验框不是直接按固定长宽比给定,引入anchor boxes后召回率提升。

 

Anchor Box:

通过引入anchor boxes,使得预测的box数量更多(13*13*n)

跟faster-rcnn系列不同的是先验框并不是直接按照长宽固定比给定

 


Directed Location Prediction:改进位置预测方式,使用相对grid cell的偏移量,避免模型不稳定问题,计算公式为

例如预测值(σtx,σty,tw,th)=(0.2,0.1,0.2,0.32),anchor框为:

在特征图位置:

在原位置:


感受野与小卷积核优势

概述来说就是特征图上的点能看到原始图像多大区域
 

 如果堆叠3个3*3的卷积层,并且保持滑动窗口步长为1,其感受野就是7*7的了,这跟一个使用7*7卷积核的结果是一样的,那为什么非要堆叠3个小卷积呢?

假设输入大小都是h*w*c,并且都使用c个卷积核(得到c个特征图),可以来计算一下其各自所需参数:

很明显,堆叠小的卷积核所需的参数更少一些,并且卷积过程越多,特征提取也会越细致,加入的非线性变换也随着增多,还不会增大权重参数个数,这就是VGG网络的基本出发点,用小的卷积核来完成体特征提取操作。

Fine - Grained Features:融合之前的特征,解决最后一层感受野太大导致小目标可能丢失的问题。
 

Multi - Scale:利用卷积操作特性,在一定iterations之后改变输入图片大小,最小320×320,最大608×608,以适应不同尺度目标检测。
 


5. YOLO - V3
 

主要改进:最大改进在于网络结构,更适合小目标检测。特征提取更细致,融入多尺度特征图信息预测不同规格物体,先验框更丰富(3种scale,每种3个规格,共9种),改进softmax用于预测多标签任务。
 


多scale检测:设计3个scale用于检测不同大小物体,介绍了不同scale的预测张量以及与特征图的关系。
 

cale变换经典方法

左图:对不同的特征图分别利用;右图:不同的特征图融合后进行预测


 

残差连接:采用resnet的思想,堆叠更多层进行特征提取,利用残差连接提升性能。从今天的角度来看,基本所有网络架构都用上了残差连接的方法
 


核心网络架构:没有池化和全连接层,全部采用卷积,下采样通过stride为2实现,展示了网络的输入、卷积层操作以及输出的相关信息。
 


先验框设计

13*13特征图上:(116x90),(156x198),(373x326)26*26特征图上:(30x61),(62x45),(59x119)

52*52特征图上:(10x13),(16x30),(33x23)


 
softmax层替代:使用logistic激活函数替代softmax,用于预测物体的多个标签。


 
6. YOLO - V4
 

整体介绍:虽作者更换,但核心精髓未变,在单GPU上训练效果良好,从数据层面和网络设计层面进行大量改进。

V4贡献

亲民政策,单GPU就能训练的非常好,接下来很多小模块都是这个出发点两大核心方法,从数据层面和网络设计层面来进行改善

消融实验,工作量不轻全部实验都是单GPU完成


Bag of freebies(BOF)
 
数据增强:包括调整亮度、对比度、色调、随机缩放、剪切、翻转、旋转,Mosaic数据增强(四张图像拼接成一张训练)、Random Erase(用随机值或训练集平均像素值替换图像区域)、Hide and Seek(根据概率随机隐藏一些补丁)等方法。
 

 Mosaic data augmentation

Random Erase:用随机值或训练集的平均像素值替换图像的区域

Hide and Seek:根据概率设置随机隐藏一些补丁



网络正则化与损失函数:采用Dropout、Dropblock等网络正则化方法,处理类别不平衡问题,设计合适的损失函数。

DropBlock

之前的dropout是随机选择点(b),现在吃掉一个区域

 

 

 

训练优化相关方法
 

 Self-adversarial-training(SAT)

通过引入噪音点来增加游戏难度


Label Smoothing

神经网络最大的缺点:自觉不错(过拟合),让它别太自信例如原来标签为(0,1):

缓解神经网络过拟合问题,使标签取值范围从(0,1)调整为[0.05,0.95],使用后能使簇内更紧密,簇间更分离。
 


IOU相关损失函数

IOU损失(1 - IOU)存在的问题,如无相交时无法梯度计算、相同IOU无法反映实际情况;

 

GIOU损失(引入最小封闭形状C)、DIOU损失(直接优化距离)、CIOU损失(考虑重叠面积、中心点距离、长宽比三个几何因素)。

DIOU损失

其中分子计算预测框与真实框的中心点欧式距离d 分母是能覆盖预测框与真实框的最小BOX的对角线长度c 直接优化距离,速度更快,并解决GIOU问题 

CIOU损失:损失函数必须考虑三个几何因素:重叠面积,中心点距离,长宽比 其中α可以当做权重参数


DIOU - NMS(不仅考虑IoU值,还考虑两个Box中心点之间的距离)和SOFT - NMS(柔和处理,更改分数而非直接剔除)。

SOFT-NMS


Bag of specials(BOS)
 
网络改进方法:增加稍许推断代价但可提高模型精度,包括网络细节部分的改进,引入注意力机制、特征金字塔等方法。
 
SPPNet(Spatial Pyramid Pooling)(用最大池化满足最终输入特征一致)

CSPNet(Cross Stage Partial Network)(按特征图channel维度拆分,一部分正常走网络,一部分直接concat到输出)

CBAM(引入注意力机制,V4中用的是空间注意力机制SAM)

V4中用的是SAM,也就是空间的注意力机制

不光NLP,语音识别领域在搞attention,CV中也一样

 

YOLOV4中的Spatial attention module

一句话概述就是更简单了,速度相对能更快一点

 

PAN(引入自底向上的路径,使底层信息更易传到顶部,且采用拼接而非加法)

先从FPN说起

自顶向下的模式,将高层特征传下来

 

PAN(Path Aggregation Network)

引入了自底向上的路径,使得底层信息更容易传到顶部

并且还是一个捷径,红色的没准走个100层(Resnet),绿色的几层就到了

 

Mish激活函数公式为f(x)=x \cdot tanh \left(ln \left(1+e^{x}\right)\right),计算量增加但效果有提升


 


消除网格敏感性:坐标回归预测值在0 - 1之间,在grid边界表示存在困难,通过在激活函数前加系数(大于1)缓解该问题。

 为了缓解这种情况可以在激活函数前加上一个系数(大于1的):


 
整体网络架构:采用CSPDarknet53架构,展示了网络的输入、各层操作以及最终的输出等信息。
 


7. YOLOV5源码相关
 
 

可视化工具:

1.配置好netron,详情:https://github.com/lutzroeder/netron

   桌面版:https://lutzroeder.github.io/netron/

2.安装好onnx,pip install onnx即可

3.转换得到onnx文件,脚本原始代码中已经给出

4.打开onnx文件进行可视化展示(.pt文件展示效果不如onnx)

Focus模块:先分块,后拼接,再卷积,间隔完成分块任务,使卷积输入的C变为12,目的是加速,不增加AP。


 
BottleneckCSP:注意叠加个数,里面包含resnet模块,相比V3版本多了CSP,效果有一定提升。


 
PAN流程:PAN流程中各模块的操作,如Focus、CONV、BottleneckCSP、Concat、Upsample等层的参数和连接关系。

<think>嗯,用户想了解YOLO系列的核心技术原理和相关原理图。首先,我需要回顾一下YOLO的基本概念。YOLOYou Only Look Once的缩写,属于单阶段目标检测算法,特点是速度快,适合实时检测。用户可能已经知道一些基本知识,但需要更深入的技术细节和图示。 接下来,我得拆解YOLO各个版本的核心技术。从v1到后续版本,每个版本都有不同的改进。比如v1的网格划分和边界框预测,v2的Anchor Boxes和批量归一化,v3的多尺度预测和Darknet-53,v4的CSPDarknet和Mish激活函数,还有v5的自动锚框调整。这些技术点需要逐一解释,并尽量配上结构图或流程图。 用户提到需要原理图,但根据引用内容,可能没有现成的图片。不过,我可以描述这些结构,比如网格划分如何将图像分成SxS的格子,每个格子预测B个边界框。或者Darknet-53的网络结构,由多少个卷积层和残差块组成。这些描述可以帮助用户想象原理图的结构。 另外,用户可能对YOLO的工作流程感兴趣,比如前向推理时的步骤:输入图像调整大小,网络提取特征,生成预测张量,后处理(如非极大抑制)。这些步骤可以结合引用中的信息,如YOLOv1的98个检测框和NMS的应用。 还要注意引用中的内容,比如引用[2]提到YOLO使用网格划分和NMS处理重叠预测,引用[4]提到v2加入批量归一化。这些需要整合到回答中,并正确标注引用来源。 用户可能需要了解YOLO相比其他模型(如Faster R-CNN)的优势,比如单次推理速度更快,但可能在精度上有所权衡。不过用户的问题更关注原理,所以重点放在技术细节上。 最后,生成相关问题时要考虑用户可能的后续疑问,比如YOLO与其他模型的比较、损失函数的具体设计、训练技巧或实际应用中的挑战。这些问题可以帮助用户深入学习和解决问题。 现在需要确保回答结构清晰,分版本介绍核心技术,每个部分有对应的技术描述和原理图说明,即使没有实际图片,也要用文字详细描述结构。同时,检查引用标注是否正确,比如引用[2]和[4]在合适的位置提及。</think># YOLO系列核心技术原理图解 ## 一、核心设计思想 YOLOYou Only Look Once)采用单阶段目标检测范式,将目标检测转化为回归问题。其核心公式可表示为: $$P_{obj} \times IOU_{pred}^{truth} = Pr(Class_i|Object) \times Pr(Object) \times IOU_{pred}^{truth}$$ [系统级架构示意图] 输入图像 → 骨干网络(特征提取) → 特征金字塔(多尺度融合) → 检测头(预测框与类别) ## 二、版本演进关键技术 ### 1. YOLOv1(2016) - **网格划分**:将图像划分为$S \times S$网格(通常$7 \times 7$) - **预测张量**:每个网格预测$B$个边界框(坐标$x,y,w,h$)和置信度$C$ - **输出维度**: $$S \times S \times (B \times 5 + C)$$ 其中$C$为类别数,$5$包含$(x,y,w,h,confidence)$[^2] ### 2. YOLOv2(2017) - **Anchor Boxes**:引入先验框机制,预测偏移量: $$b_x = \sigma(t_x) + c_x \\ b_y = \sigma(t_y) + c_y \\ b_w = p_w e^{t_w} \\ b_h = p_h e^{t_h}$$ - **批量归一化**:所有卷积层后添加BN层提升收敛速度[^4] - **多尺度训练**:每10个batch切换输入尺寸{320,352,...,608} ### 3. YOLOv3(2018) - **特征金字塔网络**: ```python # Darknet-53骨干网络输出三个尺度 [113, 26×26, 552] ``` - **改进损失函数**: $$\lambda_{coord}\sum_{i=0}^{S^2}\sum_{j=0}^{B} \mathbb{1}_{ij}^{obj}[(x_i-\hat{x}_i)^2 + (y_i-\hat{y}_i)^2] \\ + \lambda_{coord}\sum...$$ ### 4. YOLOv4/v5 - **CSPDarknet53**:跨阶段局部网络减少计算量 - **Mish激活函数**: $$Mish(x) = x \times tanh(softplus(x))$$ - **自适应锚框**:通过k-means++自动计算最佳anchor尺寸 ## 三、典型网络结构图解(以YOLOv3为例) ``` 输入图像(416×416) │ └─Darknet-53骨干网络 │ ├─下采样层1 → 输出552×256 ├─下采样层2 → 输出26×26×512 └─下采样层3 → 输出111024 │ └─FPN特征金字塔 │ ├─113检测头(大目标检测) ├─26×26检测头(中等目标) └─552检测头(小目标检测) ``` ## 四、后处理关键技术 1. **非极大抑制(NMS)流程**: - 按置信度排序检测框 - 计算IoU矩阵 - 迭代消除重叠框,保留最高置信度框 2. **损失函数组成**: - 定位损失(CIoU Loss) - 置信度损失(Binary Cross Entropy) - 分类损失(Focal Loss)
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值