ObjectAug： Object-level Data Augmentation for Semantic Image Segmentation简略总结

最近在看数据增强相关的论文，然后看到了这篇文章，觉得写的不错。

        本文提出了ObjectAug（工作在目标层面），为语义图像分割进行对象层面的增强。该方法首先使用语义标签将图像解耦为单个物体和背景。用常用的增强方法（如缩放、移位和旋转）对每个物体进行单独增强。使用图像内画法进一步恢复物体增强带来的像素伪影。最后，增强的物体和背景被组合成一个增强的图像。ObjectAug可支持类别感知增强，为每个类别的物体提供各种可能性，并且能很容易地与现有的图像级增强方法相结合。

ObjectAug在语义分割中有效地增强边界以进一步提高性能。

优点

• ObjectAug是一种目标级的数据增强方法，它可以容易地与其他现有的图像级增强方法相结合，以进一步提高性能。
• ObjectAug可以进行类别感知的增强，以缓解类别不平衡问题，它对属于不同类别的对象采取不同的增强方法。
• 大量实验表明，ObjectAug的性能优于现有的数据增强方法，并显著提高了分割的性能。

其他相关方法的特点：

• Mixup不是将一幅图像的一部分植入另一幅图像中，而是产生两幅图像的一个元素的凸形组合。
• CutOut在训练过程中随机掩盖了输入的方形区域，这提高了鲁棒性和整体性能。
• CutMix不是遮挡图像的一部分，而是通过随机组合两个裁剪的训练样本生成一个新的训练样本。

CutOut和CutMix是面向DNN的增强方法中最流行的方法。CutOut和CutMix主要用于分类和检测任务，在本文中将其修改为分割任务。 

ObjectAug包括四个模块：图像解析、对象增强、背景涂抹和图像组合。

• 图像解析

        图像解析是对图像进行解耦，并从图像中提取物体。我们对每个物体Ik及其对应的Mk进行裁剪，得到裁剪后的物体补丁Ik C和ground truth MkC。ψ表示裁剪参数.

• 目标增强

        目标增强模块对从图像解析模块提取的目标进行单独增强。传统的数据增强方法，包括缩放、旋转、移位、翻转、增亮等，表示为 [f1 , f2 , ..., fm ]。通过依次进行的增强，我们得到了组成的增强函数fObjAug。然后，将fObjAug应用于提取的目标和掩码补丁，得到增强的目标。

• 背景涂抹

        图像解析模块带来了物体移除背景中的像素伪影。除填补随机噪声外，还使用图像涂抹法填补像素伪影。我们进行形态学处理，以扩大提取的物体掩码，从而去除残留的边缘。在涂抹过程中，图像都被缩放到一个统一的尺寸。同时，由于物体被移除，我们只对背景进行涂抹，所以注释不需要进行相应处理。

• 图像组合

        在图像组合中，增强的物体和恢复的背景被组合成增强的图像和掩码。首先，我们使用相同的裁剪参数ψ来直接裁剪原始图像I和注释M，得到裁剪后的图像Ic和注释Mc。

        通过将组装的补丁Iasm装配到去除相关区域的图像中，我们得到了带有第k个物体增强的图像。重复上述过程，直到所有的物体都被处理，并得到增强的图像和注释。

总结

        本文提出了一种用于语义图像分割的数据增强方法ObjectAug。所提出的ObjectAug在目标层面上工作，这与现有的在图像层面上工作的方法完全不同。此外，ObjectAug可以支持类别感知的增强，并且可以很容易地与现有的图像级别的增强方法相结合，进一步提高性能。在自然图像和医学图像数据集上都进行了综合实验。跨越各种模型和数据集的实验表明，我们的ObjectAug优于其他增强方法，并提高了分割性能。