DataWhale AI夏令营 “大运河杯”——城市治理进阶思路2.0-CSDN博客

本文链接：https://blog.csdn.net/qq_51309289/article/details/141759606

上篇博客分享了使用全量数据做训练和验证以及切换不同权重的预训练模型进行训练，经过不断的调试，MAP（50）和MAP（50-95）均有提升，这期博客继续介绍一些模型提升方法，增强模型的精度以及泛化能力。

一、数据集增强

在深度学习训练之前准备数据集的时候，特别是打标注的数据集，在打完的基础我们还可以直接对数据集进行二次增强，即数据集增强，常见的增强技术包括翻转、旋转、缩放和颜色调整。有多个库例如 Albumentations、Imgaug 和 TensorFlow的 ImageDataGenerator，可以生成这些增强。

常用的数据增强方法有：

平移（Shift）变换：对原始图片在图像平面内以某种方式（预先定义或者随机方式确定平移的步长、范围及其方向）进行平移。
翻转（Flip）变换：沿竖直或者水平方向对原始图片进行翻转。
随机裁剪（Random Crop）：随机定义感兴趣区域以裁剪图像，相当于增加随机扰动。
噪声扰动（Noise）：对图像随机添加高斯噪声或者椒盐噪声等。
对比度变换（Contrast）：改变图像对比度，相当于在HSV空间中，保持色调分量H不变，而改变亮度分量V和饱和度S，用于模拟现实环境的光照变化。
缩放变换（Zoom）：以设定的比例缩小或者放大图像。
尺度变换（Scale）：与缩放变换有点类似，不过尺度变换的对象是图像内容而非图像本身（可以参考SIFT特征提取方法），构建图像金字塔以得到不同大小、模糊程度的图像。
Mosaic Augmentation：将四张训练图像组合成一张，增加物体尺度和位置的多样性。
Random Affine Transformations：复制一个图像的随机区域并粘贴到另一个图像上，生成新的训练样本。
HSV Augmentation：对图像的色相、饱和度和亮度进行随机变化，改变颜色属性。

在Ultralytics训练时的yaml文件中会有多种的数据增强配置供开发者调配，要进行数据增强，只需在model.train()中增加参数即可，如

from ultralytics import YOLO
model = YOLO("yolov8n.pt")
results = model.train(data="yolo-dataset/yolo.yaml", epochs=50, 
 imgsz=1080, batch=16, hsv_h=0.02, hsv_s=0.75)

具体参数及含义见下表：

参数名	类型	默认值	取值范围	描述
hsv_h	float	0.015	0.0 - 1.0	调整图像色调，引入颜色变异性，提高不同光照下的泛化能力。
hsv_s	float	0.7	0.0 - 1.0	调整图像饱和度，改变颜色强度，模拟不同环境条件。
hsv_v	float	0.4	0.0 - 1.0	调整图像亮度，帮助模型在不同光照下表现良好。
degrees	float	0	-180 - +180	随机旋转图像，提高识别不同方向物体的能力。
translate	float	0.1	0.0 - 1.0	平移图像，帮助模型学习检测部分可见物体。
scale	float	0.5	>=0.0	缩放图像，模拟物体与相机之间的不同距离。
shear	float	0	-180 - +180	剪切图像，模拟从不同角度观察物体的效果。
perspective	float	0	0.0 - 0.001	应用随机透视变换，增强模型对3D空间物体的理解能力。
flipud	float	0	0.0 - 1.0	上下翻转图像，增加数据变异性，不影响物体特征。
fliplr	float	0.5	0.0 - 1.0	左右翻转图像，有助于学习对称物体和增加数据集多样性。
bgr	float	0	0.0 - 1.0	翻转图像通道从RGB到BGR，提高对通道顺序错误的鲁棒性。
mosaic	float	1	0.0 - 1.0	合成四张图像，模拟不同场景组合和物体交互，增强复杂场景理解。
mixup	float	0	0.0 - 1.0	混合两张图像及标签，创建合成图像，增强泛化能力。
copy_paste	float	0	0.0 - 1.0	复制物体并粘贴到另一图像，增加实例和学习遮挡。
auto_augment	str	randaugment	-	自动应用预定义增强策略，优化分类任务。
erasing	float	0.4	0.0 - 0.9	随机擦除图像部分，鼓励模型关注不明显特征。

在验证时同理，可以在model()中将augment设置为True，启用预测时的数据增强(TTA)，可以通过牺牲推理速度来提高检测的鲁棒性。

from ultralytics import YOLO
model = YOLO("runs/detect/train/weights/best.pt")
import glob

for path in glob.glob('测试集/*.mp4'):
    submit_json = []
    results = model(path, conf=0.05, imgsz=1080,  verbose=False, augment=True)

二、YOLO模型训练参数的调整

对于深度学习模型，调参就像炼丹，好的超参数可以大幅度提高模型的收敛速度和精度，模型常见的超参数如下：

imgsz: 训练时的目标图像尺寸，所有图像在此尺寸下缩放。
save_period: 保存模型检查点的频率（周期数），-1 表示禁用。
device: 用于训练的计算设备，可以是单个或多个 GPU。
optimizer: 训练中使用的优化器，如 SGD、Adam 等，或 'auto' 以根据模型配置自动选择，Adam可以自动调节学习率，而SGD通常需要更多的尝试学习率才能更好优化模型，在一些实验表明，明，精确微调SGD学习率的得分往往要比使用Adam优化器的得分更高。
momentum: SGD 的动量因子或 Adam 优化器的 beta1。
weight_decay: L2 正则化项。
warmup_epochs: 学习率预热的周期数。
warmup_momentum: 预热阶段的初始动量。
warmup_bias_lr: 预热阶段偏置参数的学习率。
box: 边界框损失在损失函数中的权重。
cls: 分类损失在总损失函数中的权重。
dfl: 分布焦点损失的权重。

在训练时只需要将需要微调的参数写入model.train()中观察Loss和MAP的变化，不断进行微调，如

from ultralytics import YOLO
model = YOLO("yolov8n.pt")
results = model.train(data="yolo-dataset/yolo.yaml", epochs=50, 
 imgsz=1080, batch=16, optimizer="Adam")