【领域泛化论文阅读】Birds of A Feather Flock Together:Category-Divergence Guidance for DomainAdaptiveSegmentat

        论文提出了一个分层的无监督的领域自适应框架用于跨领域的语义分割。类间分离，类内聚合的机制(ISIA)。

       针对语义分割的无监督领域自适应(UDA)的方法可以分为image-level，feature-level,label-level。Image-level自适应是改变图像的appearance，使源域和目标域的图像看起来更相似，比如改变图像的颜色纹理光照等。GAN广泛被应用在image-level的域映射，可以将源域的image style转移到目标域上。Feature-level自适应是将从源域和目标域中提取的特征分布进行匹配。GAN经常被用来最小化特征分布之间的差异，GAN可以很好的对齐全局特征分布，但在多分类上还是很难有效泛化。Label-level自适应是利用源域中学习到的知识为目标域生成伪标签，通常可以采用自监督方法。

图1模型架构

        

        本文的模型是由一个多级对齐框架组成，包括全局特征级对齐，类别级对齐和实例级对齐。

     在全局特征级对齐中，使用cycle-consistency实现image to image的转换，将图像的appearance从目标域转移到源域，这可以看做低级的特征的对齐。为了实现输出空间的全局特征对齐，将源域和目标域的图像导入参数共享特征提取器中，再通过鉴别器来最小化源域和目标域的特征分布差距。

        在类别级对齐中，缩小源域和目标域中相同类别的特征分布距离，扩大不同类别的特征分布距离。将源域和目标域中的图像输入至一个共享的encoder F中，再分别输入decoder DS,DT中，得到p(xs)，p(xt)，p是N*H*W的概率预测向量，N是分割的类别数。再从p(xs)，p(xt)中得到cis，cit，ci是第i类的向量。对于属于同一类别的特征，使用L1范式缩小源域特征和目标域特征之间的距离。对于属于不同类别的特征，使用余弦相似度扩大源域特征和目标域特征之间的距离。

        在实例级对齐中，background在不同领域具有相似的appearance，而foreground有很大的差异，所以针对foreground设计了自适应加权实例匹配策略(AIM)。通过label map，找到每个类的不连接区域生成实例掩码，通过掩码和特征图得到实例级特征，最小化目标域和源域的实例匹配损失。

        模型通过两步进行训练，首先在没有伪标签的时候进行训练，然后利用训练好的模型生成目标域的伪标签，在损失函数上添加一个目标域的分割损失进行训练。

参考文献

1. Yuan B, Zhao D, Shao S, et al. Birds of A Feather Flock Together: Category-Divergence Guidance for Domain Adaptive Segmentation[J]. IEEE Transactions on Image Processing, 2022.