YOLO v8目标检测(二)—v8理论与模型推理

YOLO v8目标检测

数据增强

使用场景:在数据加载器加载数据的过程中会使用到数据增强的相关方法,来构造数据集。模型推理方法进行学习之前首先复习了解图像数据增强的相关方法和步骤。

其中在v8的源代码中 augment.py 的源代码文件。它包含了几个用于数据增强的类和函数。

  • BaseTransform 是一个基类,用于定义图像的变换操作。

  • Compose 是一个组合多个变换操作的类。

  • BaseMixTransform 是一个基类,用于定义图像混合的操作。

  • Mosaic 是一个具体的混合操作类,用于将多个图像组合成一个马赛克图像。

下面的一个图给出了在加载不同数据集的基础上数据增强的执行过程。

在这里插入图片描述

其中v8_transforms(dataset, imgsz, hyp, stretch=False)用于对yolo v8网络中的数据集进行图像增强的操作。

pre_transform = Compose(
        [
            Mosaic(dataset, imgsz=imgsz, p=hyp.mosaic),
            CopyPaste(p=hyp.copy_paste),
            RandomPerspective(
                degrees=hyp.degrees,
                translate=hyp.translate,
                scale=hyp.scale,
                shear=hyp.shear,
                perspective=hyp.perspective,
                pre_transform=None 
                if stretch 
                else LetterBox(new_shape=(imgsz, imgsz)),
            ),
        ]

return Compose(
        [
            pre_transform,
            MixUp(dataset, pre_transform=pre_transform, p=hyp.mixup),
            Albumentations(p=1.0),
            RandomHSV(hgain=hyp.hsv_h, sgain=hyp.hsv_s, vgain=hyp.hsv_v),
            RandomFlip(direction="vertical", p=hyp.flipud),
            RandomFlip(direction="horizontal", p=hyp.fliplr, flip_idx=flip_idx),
        ]
    )  # transforms

Mosaic data augmentation

图像增强的常见方式就包括了图像的裁剪,图像的随机水平翻转,图像的对比度改变的一些常见的策略。

在v3-spp v4 和 v5中都使用到了Mosaic图像增强的策略。

本质上是将多张图片拼接在一起进行训练的图像增强方式。

在这里插入图片描述

  • 增加数据的多样性
  • 增加目标个数
  • BN能一次性统计多张图片的参数(输入的batchsize变大的过程)

Random affine

优化策略:进行随机的仿射变换。(Rotation, Scale, Translation and Shear)旋转、缩放、平移、侧切。

在这里插入图片描述
但根据配置文件里的超参数发现只使用了ScaleTranslation即缩放和平移。

MixUp

MixUp,就是将两张图片按照一定的透明度融合在一起

之前在学习opencv的过程中使用到了猫狗图片的融合操作,mixup这种数据增强的策略与融合操作类似。

在这里插入图片描述

Albumentations,

主要是做些滤波、直方图均衡化以及改变图片质量等等,代码里写的只有安装了albumentations包才会启用,但在项目的requirements.txt文件中albumentations包是被注释掉了的,所以默认不启用。

Augment HSV

Augment HSV(Hue, Saturation, Value),随机调整色度,饱和度以及明度。

在这里插入图片描述

Letterbox

Letterbox 图像填充是一种在保持原始图像宽高比的同时调整图像大小的技术

可以使用 Letterbox 方法作为一种方式来适配图像以进行方形推理(Square Inference)或矩形推理(Rectangular Inference)

  • 方形推理

为了适配非正方形的图像到这些模型,可以使用 Letterbox 方法,在图像的上下或左右添加灰色边框,使其成为正方形。这样做保留了原始图像的宽高比,防止了图像的扭曲

  • 矩形推理

可以用来调整图像大小到适合模型的矩形尺寸,同
时保持原始图像的宽高比。这通常涉及在图像的某一边(通常是上下)添加边框。

在这里插入图片描述

模型预测执行过程

在演示断点调试的时候,在模型的预热方法时记得进入函数内部执行依次前向传播的过程。在非极大值抑制之前得到84个结果。

在这里插入图片描述
在自己调试的过程中使用矩形推理得到的不一定时80x80的方形预测特征层。

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序小旭

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值