GANSeg:通过无监督分层图像生成学习分割

GANSeg: Learning to Segment by Unsupervised Hierarchical Image Generation

摘要

1. 无监督分割
2. 一种基于GAN的方法，该方法生成以潜在MASK为条件的图像
3. 以层级方式在明确定义部分位置的2D潜在点上调节掩模时，可以很好的学习以MASK为条件的图像生成
4. 不需要监视MASK或点，增加了MASK到viewpoint和目标位置变化的鲁棒性。
5. 还可以让我们生成图像MASK对来训练分割网络，它在已建立的基准上优于最先进的无监督分割方法
   代码链接

引言

现有的无监督关键点检测方法主要遵循与无监督关键点检测相同的策略：仿射变换，显著图，或者假设对象始终处于居中
本文关键的问题：设计一个GAN，生成具有有意义的部分分割掩码的图像

方法

第1层级(红色):点生成器将两个高斯噪声向量转换为部分位置和外型嵌入。
第2层级(橙色):掩码生成器将部件位置和嵌入转换为定义部件支持的掩码。
第3层级(绿色和蓝色):前景生成器使用前一层的数量来生成前景图像，最终与独立生成的背景混合。

Level 1: Point Generation and Part Scale

利用独立的噪声向量来生成K parts的位置和外观。
part的位置和尺度由相应点的均值和标准差计算

详细可以看论文

Level 2: From Points to Masks

使用高斯热图来建模局部独立性
位置编码来生成相对于预测part位置的掩码
点与图像像素之间的相对位置编码而不是绝对位置编码

生成的嵌入映射Wmask随后将用于生成MASK
初始MASK

随后的MASK，采用SPADE ResBlocks整合

Level 3: Mask-conditioned Image Generation

在第三层，分别生成前景和背景，并通过重用前一层的MASK线性混合它们，前景生成和第二部分类似

背景生成：可以回到总览图看看

背景特征图：AdaIN ConvBlocks

前景和背景进行结合：M代表MASK

损失函数

生成器和辨别器总损失


区域面积损失：

强制MASK位于其中心周围的区域，具有几何连接损失

GAN损失：

实验结果