YOLOv5 解析

2D目标检测论文笔记 专栏收录该内容
19 篇文章 2 订阅

YOLOv5

项目链接: https://github.com/ultralytics/yolov5

一、Problem Statement

YOLOv5 分析。 皆为[1] 中的内容。摘抄作为记录。
原博客地址。侵权请联系删除。

二、Direction

先来看一下网络结构:

整体的大结构没有改变。
1. 输入端:Mosaic数据增强、自适应锚框计算
2. Backbone:Focus结构,CSP结构
3. Neck:FPN+PAN结构
4. Prediction:GIOU_Loss

1、输入端

(1). 数据增强

Yolov5的输入端采用了和Yolov4一样的Mosaic数据增强的方式。Mosaic数据增强提出的作者也是来自Yolov5团队的成员,不过,随机缩放、随机裁剪、随机排布的方式进行拼接,对于小目标的检测效果还是很不错的。

(2). 自适应锚框计算

在Yolo算法中,针对不同的数据集,都会有初始设定长宽的锚框。在网络训练中,网络在初始锚框的基础上输出预测框,进而和真实框groundtruth进行比对,计算两者差距,再反向更新,迭代网络参数。因此初始锚框也是比较重要的一部分。
在Yolov3、Yolov4中,训练不同的数据集时,计算初始锚框的值是通过单独的程序运行的。但Yolov5中将此功能嵌入到代码中,每次训练时,自适应的计算不同训练集中的最佳锚框值。当然,如果觉得计算的锚框效果不是很好,也可以在代码中将自动计算锚框功能关闭。

(3). 自适应图片缩放

在常用的目标检测算法中,不同的图片长宽都不相同,因此常用的方式是将原始图片统一缩放到一个标准尺寸,再送入检测网络中。比如Yolo算法中常用416×416,608×608等尺寸,比如对下面800*600的图像进行变换。
在这里插入图片描述

但Yolov5代码中对此进行了改进,也是Yolov5推理速度能够很快的一个不错的trick。作者认为,在项目实际使用时,很多图片的长宽比不同。因此缩放填充后,两端的黑边大小都不同,而如果填充的比较多,则存在信息冗余,影响推理速度。 因此在Yolov5代码中datasets.py的letterbox函数中进行了修改,对原始图像自适应的添加最少的黑边。

图像高度上两端的黑边变少了,在推理时,计算量也会减少,即目标检测速度会得到提升。在YOLOv3讨论中,通过这种简单的改进,推理速度得到了37%的提升,可以说效果很明显。那究竟是怎么做的呢?

(1) 计算缩放比例

原始缩放尺寸是416×416,都除以原始图像的尺寸后,可以得到0.52,和0.69两个缩放系数,选择小的缩放系数0.52。

(2) 计算缩放后的尺寸

原始图片的长宽都乘以最小的缩放系数0.52,宽变成了416,而高变成了312。

(3) 计算黑边填充数值

将416-312=104,得到原本需要填充的高度。再采用numpy中np.mod取余数的方式,得到8个像素,再除以2,即得到图片高度两端需要填充的数值。

此外,需要注意的是:
(1).这里填充的是黑色,即(0,0,0),而Yolov5中填充的是灰色,即(114,114,114),都是一样的效果。
(2).训练时没有采用缩减黑边的方式,还是采用传统填充的方式,即缩放到416×416大小。
只是在测试,使用模型推理时,才采用缩减黑边的方式, 提高目标检测,推理的速度。
(3).为什么np.mod函数的后面用32?因为Yolov5的网络经过5次下采样,而2的5次方,等于32。所以至少要去掉32的倍数,再进行取余。

2、backbone

(1). Focus结构

Focus结构, 在Yolov3&Yolov4中并没有这个结构,其中比较关键是 切片操作。 比如右图的切片示意图,4×4×3的图像切片后变成2×2×12的特征图。以Yolov5s的结构为例,原始608×608×3的图像输入Focus结构,采用切片操作,先变成304×304×12的特征图,再经过一次32个卷积核的卷积操作,最终变成304×304×32的特征图。需要注意的是:Yolov5s的Focus结构最后使用了32个卷积核,而其他三种结构,使用的数量有所增加,先注意下,后面会讲解到四种结构的不同点

(2). CSP结构

Yolov4网络结构中,借鉴了CSPNet的设计思路,在主干网络中设计了CSP结构。

Yolov5与Yolov4不同点在于, Yolov4中只有主干网络使用了CSP结构 ,而 Yolov5中设计了两种CSP结构,以Yolov5s网络为例,以CSP1_X结构应用于Backbone主干网络,另一种CSP2_X结构则应用于Neck中。
在这里插入图片描述

3、Neck

(1). FPN+PAN

Yolov5现在的Neck和Yolov4中一样,都采用FPN+PAN的结构,但在Yolov5刚出来时,只使用了FPN结构,后面才增加了PAN结构,此外网络中其他部分也进行了调整。

在这里插入图片描述

但如上面CSPNet中讲到, Yolov5和Yolov4的不同点在于,Yolov4的Neck中,采用的都是普通的卷积操作。而Yolov5的Neck结构中,采用借鉴CSPNet设计的CSP2结构,加强网络特征融合的能力。

4、prediction

(1). Bounding box 损失函数

Yolov5中采用其中的GIOU_Loss做Bounding box的损失函数。 而Yolov4中采用CIOU_Loss作为目标Bounding box的损失函数。

(2). NMS 非极大值抑制

在目标检测的后处理过程中,针对很多目标框的筛选,通常需要nms操作。Yolov4在DIOU_Loss的基础上采用DIOU_nms的方式,而Yolov5中仍然采用加权nms的方式。 DIOU_nms对于一些遮挡重叠的目标,确实会有一些改进。 ,后期可以优化。

5、 Yolov5四种网络结构的不同点

Yolov5代码中的四种网络,和之前的Yolov3,Yolov4中的cfg文件不同,都是以yaml的形式来呈现。
而且四个文件的内容基本上都是一样的,只有最上方的depth_multiplewidth_multiple两个参数不同。

(1). 四种结构的参数

四种结构就是通过上面的两个参数,来进行控制网络的深度和宽度。其中 depth_multiple控制网络的深度,width_multiple控制网络的宽度。

(2). Yolov5网络结构

四种结构的yaml文件中,下方的网络架构代码都是一样的。如何控制网络的宽度和深度,yaml文件中的Head部分也是同样的原理。

在对网络结构进行解析时,yolo.py中下方的这一行代码将四种结构的depth_multiple width_multiple提取出,赋值给gd,gw。后面主要对这gd,gw这两个参数进行讲解。

anchors, nc, gd, gw = d['anchors'], d['nc'], d['depth_multiple'], d['width_multiple']

下面再细致的剖析下,看是如何控制每种结构,深度和宽度的。

(1). 控制深度

(1). 以Yolov5s为例,第一个CSP1中,使用了1个 残差组件,因此是CSP1_1。而在Yolov5m中,则增加了网络的深度,在第一个CSP1中,使用了2个残差组件,因此是CSP1_2。而Yolov5l中,同样的位置,则使用了3个残差组件,Yolov5x中,使用了4个残差组件。其余的第二个CSP1和第三个CSP1也是同样的原理。

(2). 在第二种CSP2结构中也是同样的方式,以第一个CSP2结构为例。Yolov5s组件中使用了 2*1=2组卷积 ,因此是CSP2_1。而Yolov5m中使用了2组,Yolov5l中使用了3组,Yolov5x中使用了4组。其他的四个CSP2结构,也是同理。Yolov5中,网络的不断加深,也在不断增加网络特征提取和特征融合的能力。

控制深度的代码
控制四种网络结构的核心代码是yolo.py中下面的代码,存在两个变量,n和gd。我们再将n和gd带入计算,看每种网络的变化结果。

n = max(round(n * gd), 1) if n > 1 else n #depth gain

举例子: 我们选择最小的yolov5s.yaml和中间的yolov5l.yaml两个网络结构,将 gd(height_multiple) 系数带入,看是否正确。
在这里插入图片描述

(1) yolov5s.yaml
其中height_multiple=0.33,即gd=0.33,而n则由上面红色框中的信息获得。以上面网络框图中的第一个CSP1为例,即上面的第一个红色框。n等于第二个数值3。而gd=0.33,带入计算代码,结果n=1。因此第一个CSP1结构内只有1个残差组件,即CSP1_1。第二个CSP1结构中,n等于第二个数值9,而gd=0.33,带入计算,结果n=3,因此第二个CSP1结构中有3个残差组件,即CSP1_3。第三个CSP1结构也是同理,这里不多说。
(2)yolov5l.yaml
其中height_multiple=1,即gd=1和上面的计算方式相同,第一个CSP1结构中,n=3,带入代码中,结果n=3,因此为CSP1_3。下面第二个CSP1结构和第三个CSP1结构都是同样的原理。

(2). 控制宽度

Yolov5四种网络的宽度

四种Yolov5结构在不同阶段的 卷积核的数量 都是不一样的。因此也直接影响卷积后特征图的第三维度,即厚度,也为网络的宽度。
(1)以Yolov5s结构为例,第一个Focus结构中,最后卷积操作时,卷积核的数量是32个,因此经过Focus结构,特征图的大小变成304×304×32。 而Yolov5m的Focus结构中的卷积操作使用了48个卷积核,因此Focus结构后的特征图变成304×304×48。Yolov5l,Yolov5x也是同样的原理。
(2) 第二个卷积操作时,Yolov5s使用了64个卷积核,因此得到的特征图是152×152×64。 而Yolov5m使用96个卷积核,因此得到的特征图是152×152×96。Yolov5l,Yolov5x也是同理。
(3) 后面三个卷积下采样操作也是同样的原理。四种不同结构的卷积核的数量不同,这也直接影响网络中比如CSP1结构,CSP2等结构,以及各个普通卷积,卷积操作时的卷积核数量也同步在调整,影响整体网络的计算量。大家最好可以将结构图和前面第一部分四个网络的特征图链接,对应查看,思路会更加清晰。当然卷积核的数量越多,特征图的厚度,即宽度越宽,网络提取特征的学习能力也越强。

控制宽度的代码
在Yolov5的代码中,控制宽度的核心代码是yolo.py文件里面的这一行:

c2 = make_divisible(c2 * gw, 8) if c2 != no else c2

它所调用的子函数make_divisible的功能是:

def make_divisible(x, divisor):
    # Return x evenly divisble by divisor
    return math.ceil(x / divisor) * divisor

举例子: 我们选择最小的yolov5s.yaml和中间的yolov5l.yaml两个网络结构,将 gw(width_multiple) 系数带入,看是否正确。
在这里插入图片描述

(1) yolov5s.yaml 其中width_multiple=0.5,即gw=0.5。以第一个卷积下采样为例,即Focus结构中下面的卷积操作。按照上面Backbone的信息,我们知道Focus中,标准的c2=64,而gw=0.5, 代入计算公式,最后的结果=32。即Yolov5s的Focus结构中,卷积下采样操作的卷积核数量为32个。 再计算后面的第二个卷积下采样操作,标准c2的值=128,gw=0.5,代入公式,最后的结果=64,也是正确的。
(2) yolov5l.yaml 其中width_multiple=1,即gw=1,而标准的c2=64,代入上面(2)的计算公式中,可以得到Yolov5l的Focus结构中,卷积下采样操作的卷积核的数量为64个,而第二个卷积下采样的卷积核数量是128个。
另外的三个卷积下采样操作,以及Yolov5m,Yolov5x结构也是同样的计算方式。

三、Conclusion

YOLOv5 解析。

Reference

  1. https://blog.csdn.net/nan355655600/article/details/107852353?utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2alltop_click~default-1-107852353.nonecase&utm_term=yolov5讲解&spm=1000.2123.3001.4430
  • 10
    点赞
  • 5
    评论
  • 35
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

<p class="MsoNormal" style="line-height: 16.5pt; background: white;" align="left"><span lang="EN-US" style="font-family: 微软雅黑, sans-serif;">PyTorch</span><span style="font-family: 微软雅黑, sans-serif;">版的</span><span lang="EN-US" style="font-family: Arial, sans-serif;">YOLOv5</span><span style="font-family: 微软雅黑, sans-serif;">是高性能的实时目标检测方法。</span><span lang="EN-US" style="font-family: Arial, sans-serif;">Jetson Nano</span><span style="font-family: 微软雅黑, sans-serif;">是英伟达含有</span><span lang="EN-US" style="font-family: Arial, sans-serif;">GPU</span><span style="font-family: 微软雅黑, sans-serif;">的人工智能硬件。本课程讲述如何部署</span><span lang="EN-US" style="font-family: Arial, sans-serif;">YOLOv5</span><span style="font-family: 微软雅黑, sans-serif;">在</span><span lang="EN-US" style="font-family: Arial, sans-serif;">Jetson Nano</span><span style="font-family: 微软雅黑, sans-serif;">开发板</span><span style="font-family: 微软雅黑, sans-serif;">上。</span><span style="font-family: 微软雅黑, sans-serif; color: #000000;">部署完成后可进行图像、视频文件和摄像头视频的实时目标检测。</span><span style="color: #222226; font-family: 微软雅黑, sans-serif;">部署时使用</span><span lang="EN-US" style="color: #222226; font-family: 微软雅黑, sans-serif;">AI</span><span style="color: #222226; font-family: 微软雅黑, sans-serif;">视频处理加速引擎</span><span lang="EN-US" style="color: #222226; font-family: 微软雅黑, sans-serif;">TensorRT</span><span style="color: #222226; font-family: 微软雅黑, sans-serif;">和</span><span lang="EN-US" style="color: #222226; font-family: 微软雅黑, sans-serif;">DeepStream</span><span style="color: #222226; font-family: 微软雅黑, sans-serif;">。</span></p> <p class="MsoNormal" style="line-height: 16.5pt; background: white;" align="left"> </p> <p class="MsoNormal" style="line-height: 16.5pt; background: white;" align="left"><span style="font-family: 微软雅黑, sans-serif;">课程内容包括:原理篇(</span><span lang="EN-US" style="font-family: Arial, sans-serif;">DeepStream</span><span style="font-family: 微软雅黑, sans-serif;">介绍</span><span style="font-family: 微软雅黑, sans-serif;">、</span><span lang="EN-US" style="font-family: Arial, sans-serif;">TensorRT</span><span style="font-family: 微软雅黑, sans-serif;">介绍、</span><span style="font-family: Arial, sans-serif;"> <span lang="EN-US">tensorrtx</span></span><span style="font-family: 微软雅黑, sans-serif;">介绍)、实践篇(<span lang="EN-US">Nano</span>硬件搭建、烧录系统镜像、安装远程登录工具、安装和测试<span lang="EN-US">DeepStream</span>、安装<span lang="EN-US">yolov5</span>、生成<span lang="EN-US">yolov5s.wts</span>文件、生成<span lang="EN-US">yolov5s.engine</span>、使用<span lang="EN-US">DeepStream</span>部署<span lang="EN-US">yolov5、</span></span><span lang="EN-US" style="font-family: 微软雅黑, sans-serif;">Nano</span><span style="font-family: 微软雅黑, sans-serif;">部署测试)</span></p> <p><img src="https://img-bss.csdnimg.cn/202104061256598707.jpg" alt="课程介绍" /></p>
<p style="background: white;"><span style="font-size: 10.5pt; font-family: '微软雅黑',sans-serif; mso-bidi-font-family: Arial; color: black; mso-themecolor: text1;">人脸口罩佩戴检测<span lang="EN-US">(</span>识别<span lang="EN-US">)</span>是当前急需的应用,而<span lang="EN-US">YOLOv5</span>是目前流行的强悍的目标检测技术。本课程使用<span lang="EN-US">YOLOv5</span>实现人脸口罩佩戴的实时检测。课程提供超万张已标注人脸口罩数据集。训练后的<span lang="EN-US">YOLOv5</span>可对真实场景下人脸口罩佩戴进行高精度实时检测。</span></p> <p style="background: white;"><span style="font-size: 10.5pt; font-family: '微软雅黑',sans-serif; mso-bidi-font-family: Arial; color: black; mso-themecolor: text1;">本课程会讲述本项目超万张人脸口罩数据集的制作方法,包括使用<span lang="EN-US">labelImg</span>和“精灵标注助手”标注工具以及使用<span lang="EN-US">Python</span>代码对第三方数据集进行清洗。</span></p> <p style="background: white;"><span style="font-size: 10.5pt; font-family: '微软雅黑',sans-serif; mso-bidi-font-family: Arial; color: black; mso-themecolor: text1;">本课程的<span lang="EN-US">YOLOv5</span>使用<span lang="EN-US">PyTorch</span>版的<span lang="EN-US">ultralytics/yolov5</span>,分别在<span lang="EN-US">Windows</span>和<span lang="EN-US">Ubuntu</span>系统上做人脸口罩佩戴检测的项目演示。具体项目过程包括:安装<span lang="EN-US">YOLOv5</span>、训练集和测试集自动划分、修改配置文件、准备<span lang="EN-US">Weights&Biases(wandb)</span>训练可视化工具、训练网络模型、测试训练出的网络模型和性能统计。</span></p> <p><img src="https://img-bss.csdnimg.cn/202105171502238347.jpg" alt="口罩数据集" /></p> <p><img src="https://img-bss.csdnimg.cn/202105171502526495.jpg" alt="图片检测效果" /></p> <p><img src="https://img-bss.csdnimg.cn/202105171503171409.jpg" alt="训练可视化" /></p> <p><img src="https://img-bss.csdnimg.cn/202105171503402341.jpg" alt="" /></p>
<p class="MsoNormal"><span style="font-family: '微软雅黑',sans-serif;">YOLO</span><span style="font-family: '微软雅黑',sans-serif;">系列是基于深度学习的端到端实时目标检测方法。 PyTorch版的YOLOv5轻量而性能高,更加灵活和易用,当前非常流行。</span><span style="font-family: 微软雅黑, sans-serif;"> </span></p> <p class="MsoNormal"><span style="font-family: '微软雅黑',sans-serif;">本课程将手把手地教大家使用labelImg标注和使用YOLOv5训练自己的数据集。课程实战分为两个项目:单目标检测(足球目标检测)和多目标检测(足球和梅西同时检测)。</span><span style="font-family: 微软雅黑, sans-serif;"> </span></p> <p class="MsoNormal"><span style="font-family: '微软雅黑',sans-serif;">本课程的YOLOv5使用ultralytics/yolov5,在<span style="color: #e03e2d;"><strong>Windows</strong></span>系统上做项目演示。包括:安装YOLOv5、标注自己的数据集、准备自己的数据集、修改配置文件、使用wandb训练可视化工具、训练自己的数据集、测试训练出的网络模型和性能统计。</span><span style="font-family: 微软雅黑, sans-serif;"> </span></p> <p class="MsoNormal"><span style="font-family: 微软雅黑, sans-serif;">希望学习Ubuntu上演示的同学,请前往 </span><span style="font-family: 微软雅黑, sans-serif;">《</span><span style="font-family: 微软雅黑, sans-serif;">YOLOv5(PyTorch)</span><span style="font-family: 微软雅黑, sans-serif;">实战:训练自己的数据集(Ubuntu)》课程链接:https://edu.csdn.net/course/detail/30793</span><span style="font-family: 宋体;"><span style="font-size: 14px;"> </span></span></p> <p style="margin-left: 0cm;"> </p> <p style="margin-left: 0cm;">本人推出了有关YOLOv5目标检测的系列课程。请持续关注该系列的其它视频课程,包括:</p> <p>《YOLOv5(PyTorch)目标检测实战:训练自己的数据集》</p> <p>Ubuntu系统 <strong><a href="https://edu.csdn.net/course/detail/30793"><span style="color: #7c79e5;">https://edu.csdn.net/course/detail/30793</span></a></strong></p> <p>Windows系统 <strong><a href="https://edu.csdn.net/course/detail/30923"><span style="color: #7c79e5;">https://edu.csdn.net/course/detail/30923</span></a></strong></p> <p class="MsoNormal" style="background: white; word-break: break-all;" align="left"><span style="font-family: '微软雅黑',sans-serif;">《<span lang="EN-US">YOLOv5(PyTorch)</span>目标检测:原理与源码解析》课程链接:<strong><span lang="EN-US"><a href="https://edu.csdn.net/course/detail/31428"><span style="color: windowtext; font-weight: normal; text-decoration-line: none;">https://edu.csdn.net/course/detail/31428</span></a></span></strong></span></p> <p class="MsoNormal" style="background: white; word-break: break-all;" align="left"><span style="font-family: '微软雅黑',sans-serif;">《<span lang="EN-US">YOLOv5</span>目标检测实战:<span lang="EN-US">Flask Web</span>部署》课程链接:<strong><span lang="EN-US"><a href="https://edu.csdn.net/course/detail/31087"><span style="color: windowtext; font-weight: normal; text-decoration-line: none;">https://edu.csdn.net/course/detail/31087</span></a></span></strong></span></p> <p class="MsoNormal" style="background: white; word-break: break-all;" align="left"><span style="font-family: '微软雅黑',sans-serif;">《<span lang="EN-US">YOLOv5(PyTorch)</span>目标检测实战:<span lang="EN-US">TensorRT</span>加速部署》课程链接<strong>:<span lang="EN-US"><a href="https://edu.csdn.net/course/detail/32303"><span style="color: windowtext; font-weight: normal; text-decoration-line: none;">https://edu.csdn.net/course/detail/32303</span></a></span></strong></span></p> <p class="MsoNormal" style="background: white; word-break: break-all;" align="left"><span style="font-family: '微软雅黑',sans-serif;">《<span lang="EN-US">YOLOv5</span>目标检测实战:<span lang="EN-US">Jetson Nano</span>部署》课程链接:<span lang="EN-US"><a href="https://edu.csdn.net/course/detail/32451" data-cke-saved-href="https://edu.csdn.net/course/detail/32451"><span style="color: windowtext; text-decoration-line: none;">https://edu.csdn.net/course/detail/32451</span></a></span></span></p> <p class="MsoNormal" style="background: white; word-break: break-all;" align="left"><span style="font-family: '微软雅黑',sans-serif;">《<span lang="EN-US">YOLOv5+DeepSORT</span>多目标跟踪与计数精讲》课程链接:<strong><span lang="EN-US"><a href="https://edu.csdn.net/course/detail/32669"><span style="color: windowtext; font-weight: normal; text-decoration-line: none;">https://edu.csdn.net/course/detail/32669</span></a></span></strong></span></p> <p class="MsoNormal" style="background: white; word-break: break-all;" align="left"><span style="font-family: '微软雅黑',sans-serif;">《<span lang="EN-US">YOLOv5</span>实战口罩佩戴检测》课程链接:<strong><span lang="EN-US"><a href="https://edu.csdn.net/course/detail/32744"><span style="color: windowtext; font-weight: normal; text-decoration-line: none;">https://edu.csdn.net/course/detail/32744</span></a></span></strong></span></p> <p class="MsoNormal"><span style="font-family: '微软雅黑',sans-serif;">《<span lang="EN-US">YOLOv5</span>实战中国交通标志识别》课程链接:<span lang="EN-US"><a href="https://edu.csdn.net/course/detail/32744"><span style="color: windowtext; text-decoration-line: none;">https://edu.csdn.net/course/detail/35209</span></a></span></span></p> <p class="MsoNormal"><span style="font-family: '微软雅黑',sans-serif;">《<span lang="EN-US">YOLOv5</span>实战垃圾分类目标检测》课程链接:<span lang="EN-US"><a href="https://edu.csdn.net/course/detail/35284"><span style="color: windowtext; text-decoration-line: none;">https://edu.csdn.net/course/detail/35284</span></a></span></span></p> <p class="MsoNormal"><span style="font-family: '微软雅黑',sans-serif;"><span lang="EN-US"><span style="color: windowtext; text-decoration-line: none;"><img src="https://img-bss.csdnimg.cn/202106220205279501.jpg" alt="课程内容" /></span></span></span></p> <p class="MsoNormal"><span lang="EN-US" style="font-family: '微软雅黑',sans-serif;"> </span></p> <p> </p> <p class="MsoNormal"><span lang="EN-US"> <img src="https://img-bss.csdnimg.cn/202106220204372263.jpg" alt="图片检测效果" /></span></p> <p> </p> <p> </p> <p> </p> <p> </p>
©️2021 CSDN 皮肤主题: 游动-白 设计师:白松林 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值