Detectron2数据增强系统深度解析-CSDN博客

本文链接：https://blog.csdn.net/gitblog_00102/article/details/148328215

Detectron2数据增强系统深度解析

detectron2 Detectron2 is a platform for object detection, segmentation and other visual recognition tasks. 项目地址: https://gitcode.com/gh_mirrors/de/detectron2

前言

在计算机视觉任务中，数据增强是提升模型泛化能力的关键技术之一。Detectron2作为一款优秀的计算机视觉库，其数据增强系统设计精巧且功能强大。本文将深入剖析Detectron2的数据增强机制，帮助开发者更好地理解和使用这一系统。

数据增强的核心设计理念

Detectron2的数据增强系统围绕四个核心目标构建：

多数据类型协同增强：支持同时对图像及其关联的边界框、分割掩码等多种数据类型进行增强
静态声明式增强序列：允许定义一系列静态声明的增强操作
可扩展性：支持添加自定义的新数据类型（如旋转边界框、视频片段等）
操作处理能力：能够处理和操作增强过程中应用的各种变换

前两个特性覆盖了大多数常见用例，而后两个特性则为高级应用场景提供了灵活性。

基础使用方式

Detectron2的数据增强系统基于三个核心概念：

1. Augmentation（增强策略）

定义修改输入的"策略"，其__call__方法会原地增强输入数据，并返回应用的变换操作。

from detectron2.data import transforms as T
augs = T.AugmentationList([
    T.RandomBrightness(0.9, 1.1),
    T.RandomFlip(prob=0.5),
    T.RandomCrop("absolute", (640, 640))
])

2. Transform（变换操作）

实现实际的数据变换操作，包含apply_image、apply_coords等方法，定义如何变换每种数据类型。

3. AugInput（增强输入）

存储T.Augmentation所需的输入及其变换方式。对于不在AugInput中的额外数据，可以使用返回的transform进行增强。

input = T.AugInput(image, boxes=boxes, sem_seg=sem_seg)
transform = augs(input)
image_transformed = input.image
polygons_transformed = transform.apply_polygons(polygons)

自定义增强实现

简单图像增强

对于仅需要图像信息的2D增强，可以轻松实现：

class MyColorAugmentation(T.Augmentation):
    def get_transform(self, image):
        r = np.random.rand(2)
        return T.ColorTransform(lambda x: x * r[0] + r[1] * 10)

多数据协同增强

如果需要使用多个输入属性进行增强，只需在函数签名中包含这些属性：

class MyCustomCrop(T.Augmentation):
    def get_transform(self, image, sem_seg):
        # 使用图像和语义分割信息决定裁剪区域
        return T.CropTransform(...)

高级应用场景

1. 自定义变换策略

Detectron2返回T.Transform操作而非仅增强数据，这允许用户对数据应用自定义变换策略。以关键点数据为例：

transform = augs(input)
keypoints_xy = transform.apply_coords(keypoints_xy)

# 检查是否进行了水平翻转
transforms = T.TransformList([transform]).transforms
do_hflip = sum(isinstance(t, T.HFlipTransform) for t in transforms) % 2 == 1
if do_hflip:
    keypoints_xy = keypoints_xy[flip_indices_mapping]

2. 几何变换的逆操作

当预测结果位于增强后的图像上时，可以使用inverse()API将结果映射回原始图像：

transform = augs(input)
pred_mask = make_prediction(input.image)
inv_transform = transform.inverse()
pred_mask_orig = inv_transform.apply_segmentation(pred_mask)

3. 添加新数据类型

可以通过注册新类型来扩展支持的变换数据类型：

@T.HFlipTransform.register_type("rotated_boxes")
def func(flip_transform: T.HFlipTransform, rotated_boxes: Any):
    # 实现旋转框的翻转逻辑
    return flipped_rotated_boxes