【Datawhale TASK3】YOLO进一步上分

一、数据集增强

数据增强是机器学习和深度学习中常用的技术，用于通过从现有数据集中生成新的训练样本来提高模型的泛化能力。干净一致的数据对于创建性能良好的模型至关重要。常见的增强技术包括翻转、旋转、缩放和颜色调整。多个库，例如 Albumentations、Imgaug 和 TensorFlow的 ImageDataGenerator，可以生成这些增强。

数据增强方法	描述
Mosaic Augmentation	将四张训练图像组合成一张，增加物体尺度和位置的多样性。
Copy-Paste Augmentation	复制一个图像的随机区域并粘贴到另一个图像上，生成新的训练样本。
Random Affine Transformations	包括图像的随机旋转、缩放、平移和剪切，增加对几何变换的鲁棒性。
MixUp Augmentation	通过线性组合两张图像及其标签创造合成图像，增加特征空间的泛化。
Albumentations	一个支持多种增强技术的图像增强库，提供灵活的增强管道定义。
HSV Augmentation	对图像的色相、饱和度和亮度进行随机变化，改变颜色属性。
Random Horizontal Flip	沿水平轴随机翻转图像，增加对镜像变化的不变性。

参数名	类型	默认值	取值范围	描述
hsv_h	float	0.015	0.0 - 1.0	调整图像色调，引入颜色变异性，提高不同光照下的泛化能力。
hsv_s	float	0.7	0.0 - 1.0	调整图像饱和度，改变颜色强度，模拟不同环境条件。
hsv_v	float	0.4	0.0 - 1.0	调整图像亮度，帮助模型在不同光照下表现良好。
degrees	float	0	-180 - +180	随机旋转图像，提高识别不同方向物体的能力。
translate	float	0.1	0.0 - 1.0	平移图像，帮助模型学习检测部分可见物体。
scale	float	0.5	>=0.0	缩放图像，模拟物体与相机之间的不同距离。
shear	float	0	-180 - +180	剪切图像，模拟从不同角度观察物体的效果。
perspective	float	0	0.0 - 0.001	应用随机透视变换，增强模型对3D空间物体的理解能力。
flipud	float	0	0.0 - 1.0	上下翻转图像，增加数据变异性，不影响物体特征。
fliplr	float	0.5	0.0 - 1.0	左右翻转图像，有助于学习对称物体和增加数据集多样性。
bgr	float	0	0.0 - 1.0	翻转图像通道从RGB到BGR，提高对通道顺序错误的鲁棒性。
mosaic	float	1	0.0 - 1.0	合成四张图像，模拟不同场景组合和物体交互，增强复杂场景理解。
mixup	float	0	0.0 - 1.0	混合两张图像及标签，创建合成图像，增强泛化能力。
copy_paste	float	0	0.0 - 1.0	复制物体并粘贴到另一图像，增加实例和学习遮挡。
auto_augment	str	randaugment	-	自动应用预定义增强策略，优化分类任务。
erasing	float	0.4	0.0 - 0.9	随机擦除图像部分，鼓励模型关注不明显特征。

小细讲

Mosaic Augmentation

• 使用时机：当训练目标检测模型，特别是使用YOLO系列模型时，Mosaic增强特别有效。
• 如何使用：在训练开始时就可以使用。通过组合不同背景和目标的图像，模型可以学习到在不同上下文中的目标特征。

Copy-Paste Augmentation

• 使用时机：适用于物体检测和分割任务，特别是当某些类别的样本数量较少时。
• 如何使用：确保复制的区域与粘贴的背景在视觉上协调，避免产生不符合真实场景的样本。

Random Affine Transformations

• 使用时机：当模型需要具备对物体几何变换的鲁棒性时，例如在复杂的现实世界场景中。
• 如何使用：在整个训练过程中定期应用，以使模型能够学习到不同视角和形状的物体。

MixUp Augmentation

• 使用时机：适用于分类任务，特别是在模型容易过拟合或者类别之间界限不明确时。
• 如何使用：与其他增强方法结合使用，但要注意标签的混合可能需要额外的处理。

Albumentations

• 使用时机：任何需要复杂增强策略的场景。
• 如何使用：根据具体任务的需求，选择合适的增强方法组合成增强管道。

HSV Augmentation

• 使用时机：当模型对颜色变化敏感时，比如在不同的光照条件下识别物体。
• 如何使用：可以与其他增强方法结合使用，以增加颜色的多样性。

Random Horizontal Flip

• 使用时机：适用于分类和检测任务，特别是当对象具有对称性时。
• 如何使用：在训练过程中经常使用，可以增加模型对左右对称变换的鲁棒性。

一些小经验

• 对于目标检测任务：
  • 使用Mosaic增强来增加目标的上下文多样性。
  • 应用Random Affine Transformations来提高模型对几何变换的鲁棒性。
  • 采用Copy-Paste增强来增加小目标的训练样本。
• 对于图像分类任务：
  • 使用HSV Augmentation和Random Horizontal Flip来提高模型对颜色和空间变换的鲁棒性。
  • 尝试MixUp Augmentation来增加类别之间的平滑过渡，帮助模型区分模糊边界。
• 对于所有任务：
  • 使用Albumentations库来创建灵活的增强管道，并轻松尝试不同的增强组合。
  • 确保增强操作不会破坏图像的关键特征，比如在医学图像中，增强不应影响病变的识别。

二、设置 YOLO 模型训练参数

https://docs.ultralytics.com/usage/cfg/#train-settings

YOLO 模型的训练设置包括多种超参数和配置，这些设置会影响模型的性能、速度和准确性。微调涉及采用预先训练的模型并调整其参数以提高特定任务或数据集的性能。该过程也称为模型再训练，使模型能够更好地理解和预测在实际应用中将遇到的特定数据的结果。您可以根据模型评估重新训练模型，以获得最佳结果。

通常，在初始训练时期，学习率从低开始，逐渐增加以稳定训练过程。但是，由于您的模型已经从以前的数据集中学习了一些特征，因此立即从更高的学习率开始可能更有益。在 YOLO 中绝大部分参数都可以使用默认值。

1. imgsz: 训练时的目标图像尺寸，所有图像在此尺寸下缩放。
2. save_period: 保存模型检查点的频率（周期数），-1 表示禁用。
3. device: 用于训练的计算设备，可以是单个或多个 GPU，CPU 或苹果硅的 MPS。
4. optimizer: 训练中使用的优化器，如 SGD、Adam 等，或 ‘auto’ 以根据模型配置自动选择。
5. momentum: SGD 的动量因子或 Adam 优化器的 beta1。
6. weight_decay: L2 正则化项。
7. warmup_epochs: 学习率预热的周期数。
8. warmup_momentum: 预热阶段的初始动量。
9. warmup_bias_lr: 预热阶段偏置参数的学习率。
10. box: 边界框损失在损失函数中的权重。
11. cls: 分类损失在总损失函数中的权重。
12. dfl: 分布焦点损失的权重。

在YOLOv5及其后续版本中，imgsz可以被设置为一个整数，用于训练和验证模式，表示将输入图像调整为正方形的尺寸，例如imgsz=640意味着图像将被调整为640x640像素。对于预测和导出模式，imgsz可以被设置为一个列表，包含宽度和高度，例如imgsz=[640, 480]，表示图像将被调整为640像素宽和480像素高。较大的图像尺寸可能会提高模型的准确性，但会增加计算量和内存消耗。较小的图像尺寸可能会降低模型的准确性，但会提高计算速度和内存效率。因此，用户应根据实际场景需求及硬件资源限制，设置合适的输入图像尺寸

三、设置 YOLO 模型预测行为和性能

YOLO模型的预测结果通常包括多个组成部分，每个部分提供关于检测到的对象的不同信息。同时 YOLO 能够处理包括单独图像、图像集合、视频文件或实时视频流在内的多种数据源，也能够一次性处理多个图像或视频帧，进一步提高推理速度。

属性	描述
cls	类别概率，表示当前预测结果属于类别0的概率为0。
conf	置信度，模型对其预测结果的置信度，接近92%。
data	包含边界框坐标和置信度以及类别概率的原始数据。
id	没有分配唯一的对象ID。
is_track	预测结果不是来自跟踪的对象。
orig_shape	输入图像的原始尺寸，这里是500x500像素。
shape	预测结果张量的形状，表示一个边界框的六个值。
xywh	归一化的边界框坐标，中心坐标和宽高。
xywhn	归一化的边界框坐标（无偏移）。
xyxy	原始边界框坐标，左上角和右下角坐标。
xyxyn	归一化的原始边界框坐标。

from ultralytics import YOLO

# Load a model
model = YOLO("yolov8n.pt")  # pretrained YOLOv8n model

# Run batched inference on a list of images
results = model(["im1.jpg", "im2.jpg"])  # return a list of Results objects

# Process results list
for result in results:
    boxes = result.boxes  # Boxes object for bounding box outputs
    masks = result.masks  # Masks object for segmentation masks outputs
    keypoints = result.keypoints  # Keypoints object for pose outputs
    probs = result.probs  # Probs object for classification outputs
    obb = result.obb  # Oriented boxes object for OBB outputs
    result.show()  # display to screen
    result.save(filename="result.jpg")  # save to disk

YOLOv8模型的使用者提供了灵活性，允许根据特定应用场景的需求调整模型的行为和性能。例如，如果需要减少误报，可以提高conf阈值；如果需要提高模型的执行速度，可以在支持的硬件上使用half精度；如果需要处理视频数据并希望加快处理速度，可以调整vid_stride来跳过某些帧。这些参数的适当配置对于优化模型的预测性能至关重要。

参数名	类型	默认值	描述
conf	float	0.25	置信度阈值，用于设置检测对象的最小置信度。低于此阈值的检测对象将被忽略。调整此值有助于减少误报。
iou	float	0.7	非最大值抑制（NMS）的交并比（IoU）阈值。较低的值通过消除重叠的边界框来减少检测数量，有助于减少重复项。
imgsz	int 或 tuple	640	推理时定义图像的大小。可以是单个整数（如640），用于将图像大小调整为正方形，或(height, width)元组。合适的尺寸可以提高检测精度和处理速度。
augment	bool	FALSE	启用预测时的数据增强（TTA），可能通过牺牲推理速度来提高检测的鲁棒性。

一些小经验

conf (置信度阈值)

• 设置建议：通常设置在0.1到0.5之间。0.25是一个相对保守的值，可以减少误报，但可能会增加漏报。
• 调整策略
  • 如果你的模型有很多误报，可以提高这个值。
  • 如果漏报是一个更大的问题，可以适当降低这个值。
  • 使用验证集来调整这个值，观察不同阈值对 precision 和 recall 的影响。

iou

• 设置建议：通常设置在0.5到0.75之间。0.7是一个常用的起点，可以有效减少重复检测。
• 调整策略
  • 如果模型经常检测到同一个物体的多个重叠边界框，可以增加这个值。
  • 如果检测到的物体经常被错误地合并，可以降低这个值。
  • 通过查看检测结果中边界框的重叠情况来调整这个值。

imgsz

• 设置建议：这取决于你的具体应用和计算资源。通常设置为32的倍数，如640、512、320等。
• 调整策略
  • 较大的图像尺寸可以提高检测精度，但会增加计算负担和推理时间。
  • 较小的图像尺寸可以提高处理速度，但可能会降低精度。
  • 可以尝试不同的尺寸，找到精度和速度之间的最佳平衡点。

augment

• 设置建议：根据你的应用需求来决定。如果实时性要求高，可能不启用；如果对检测精度有更高要求，可以启用。
• 调整策略
  • 如果在验证集上观察到启用数据增强可以显著提高模型的性能，那么可以考虑在预测时使用。
  • 注意，启用数据增强会增加推理时间，因此需要在精度和速度之间做出权衡。
  • 可以尝试不同的增强方法，比如仅启用水平翻转或轻微的缩放，而不是使用全部的增强策略。