Masked Frequency Consistency for Domain-Adaptive Semantic Segmentation of Laparoscopic Images论文速读

Masked Frequency Consistency for Domain-Adaptive Semantic Segmentation of Laparoscopic Images

摘要

本文主要解决了 Domain Adaptive Semantic Segmentation （DASS） 任务，该任务旨在仅使用计算机生成的模拟图像和未标记的真实图像来训练分割网络。为了弥合生成图像和真实图像之间的巨大域差距，我们提出了一个掩码频率一致性（MFC）模块，该模块鼓励网络学习目标域的频率相关信息，作为鲁棒识别的额外线索。具体来说，MFC随机屏蔽了图像的一些高频信息，以提高网络对低频图像和真实图像的预测一致性。
代码地址

本文方法

从图中可以看出，真实图像的高频信息更多

简单来说，就是使用模拟图像训练学生网络，然后采用EMA移动参数给教师网络，，并计算一致性，典型的半监督模型
还利用mask过后傅里叶变换再经过反傅里叶变换得到的图像再模拟一下

实验结果