NeurlPS‘23开源 | 语义分割的训练数据不够了怎么办？

作者：泡椒味的口香糖 | 来源：计算机视觉工坊

在公众号「计算机视觉工坊」后台，回复「原论文」可获取论文pdf、代码链接。

0. 笔者个人体会

相信做过语义分割的小伙伴一定经历过数据集不够的情况，如果大家打过标签就会知道人工标注的过程有多繁琐。

那么怎么办呢？最近笔者看到了NeurlPS 2023开源了一项新工作FreeMask，可以快速生成大量的RGB-Mask标签对，直接增强语义分割的训练性能。这项工作是基于扩散模型的，笔者也在感叹这两年深度学习发展真实太快了，各行各业都在受影响。

今天笔者将为大家介绍这项工作，当然笔者水平有限，如果有理解不当的地方欢迎大家一起讨论~

1. 效果展示

先看看具体效果，左侧是真实图像和对应的Mask标签。FreeMask的原理是基于Mask分割图生成不同的RGB图，这样来做数据增强。当然为了防止过拟合还做了一些技巧，这个我们后面再说。

ADE20K上的生成效果，剔除掉了一些无效标签（白色区域）来避免模型恶化。

目前代码、模型、还有他们生成的合成分割数据集都