论文指出之前的工作是通过去除source domain的image style或者多样化 style,这解决了style的过拟合,但忽略了content的过拟合。这篇论文是通过wild来多样化source domain的content和style,以达到域泛化的目标。
Baseline model通过segmentation loss式(1)来训练,只是普通的语义分割损失函数。
Feature Stylization是为了多样化source style,通过添加多层的AdaIN层将wild style传递给source feature,如式(2)所示
Content Extension Learning是为了防止对source content的过拟合,将源域的content扩展到wild,来增强intra-class的变化,达到一个好的泛化性。
论文采用了对比学习,将content扩展到wild-stylized,损失函数是式(3),将zis和zisw作为正样本对,迫使它们靠近,而zsw中其他的与zis的类别不同的zisw是zs的负样本,尽量远离。
下一步是将content扩展到wild,因为wild数据集是没有y的,所以式(3)不能直接用,因此论文将zsw存储在字典Q中,先通过式(7)找到最相似的zisw来代替ziw,得到loss式(8)。最后将两个损失函数加一起得到CEL的loss式(10)。
Style Extension Learning是为了防止对source style的过拟合,虽然FS已经多样化了style,但是得到的wild-stylized的语义分割结果很差,所以SEL是通过损失函数式(11)让网络能适应wild-stylized。
Semantic Consistency Regularization是为了使ps和psw一致,学习一致的语义信息,损失函数是KL散度式(12)
- Lee S, Seong H, Lee S, et al. WildNet: Learning Domain Generalized Semantic Segmentation from the Wild[J]. arXiv preprint arXiv:2204.01446, 2022.