ips1920 java,NeurIPS 2020 | 利用像素级别循环一致性解决领域自适应语义分割问题

©PaperWeekly · 作者｜康国梁

学校｜卡内基梅隆大学博士后

研究方向｜深度学习、领域自适应、语义分割

论文标题：

Pixel-Level Cycle Association: A New Perspective for Domain Adaptive Semantic Segmentation

论文作者：

Guoliang Kang, Yunchao Wei, Yi Yang, Yueting Zhuang, Alexander Hauptmann

论文链接：

https://papers.nips.cc/paper/2020/file/243be2818a23c980ad664f30f48e5d19-Paper.pdf

语义分割近年来获得非常大的进步和发展。但是当分割网络执行跨域(cross-domain)预测任务时，性能还远不能令人满意。例如，分割网络在易于获得标注的 synthetic data 上训练，在真实场景图片上进行分类，性能会发生大幅下跌。

这种性能下降是由于目标域(target domain)和源域(source domain)图片的分布(风格，布局，等)不同所造成的。领域自适应语义分割(Domain Adaptive Semantic Segmentation)就是利用带标注的源域数据和无标注的目标域数据来减小或者消除域漂移(domain shift)带来的性能损失。

动机

对于领域自适应语义分割，以前的方法通常基于 adversarial training，让图片或者 feature map 在不同 domain 之间变得不可区分。但是这些方法更多地关注全局或者整体的相似度，忽略了域内和域间的像素间关系，尽管能够在一定程度上消除域差异，其导致的 feature 并不具备非常好的辨别性，因而影响分类性能。这篇论文充分利用像素间的相似度来消除域差异，同时提高 feature 的辨别性。

方法

2.1 Pixel-Level Cycle Association

如上图所示，对于随机采样的 source 和 target 图片，我们首先建立他们像素级别的关联。我们利用像素级别的循环一致性(pixel-level cycle consistency)来建立这种关联。

具体来说，对于任一 source 图片中的像素 S1，我们在 target 图片中选择与之相似度最高的像素 T。然后，对于选择的 target 像素 T，我们反过来选择与之最接近的 source 图片中的像素 S2。如果 S1 和 S2 属于同一个类别，我们则建立 S1--> T --> S2 的关联，否则，关联不成立。

对于建立起关联的像素，我们 contrastively 增强他们之间(S1--> T 和 T--> S2)的联系。我们通过 minimize 如下 loss 来实现这一目的( 对应于 S1， 对应于 T， 对应于 S2)：

其中， 表示建立起循环关联的起始 source 像素点集合。 代表像素 feature 的相似度，这里采用 cosine similarity。

简而言之，就是让关联的 source 和 target 像素对的相似度相比于其他可能的像素对更高。

2.2 Gradient Diffusion via Spatial Aggregation

通过循环关联，我们可以建立 source 和 target 像素之间的联系。但是，通常只有部分 target 像素可以和 source 像素成功地建立起关联。原因有两个，一是循环关联倾向于选择最容易关联到的 target 像素；二是由于域差异，对于当前 source 图片的部分像素，target image 中在本质上可能就不存在应该与之关联的像素。

为了给更多样化的 target 像素提供 supervision，对每个 target 像素点，我们采取 spatial aggregation 生成新的 feature，然后基于 aggregated feature 建立循环关联，如下图所示。

通过这种方式，在 backward 的过程中，每个关联到的 target 像素点作为 seed 把传递给它的 gradients “分发给” 图片中的其他像素，其大小取决于其他像素点和 seed 像素点之间的相似度。

2.3 Multi-Level Cycle Association

除了在 feature 层建立和增强循环关联以外，我们还在分割网络预测的像素的 probability distribution 上建立循环关联。方法跟在 feature 上的做法一样。唯一不同的是，我们采取负的 Kullback-Leibler (KL) divergence 作为相似度度量, 即

对应的 loss 为：

2.4 Objective

除了 association loss，我们最后的 objective 还包括 cross-entropy loss，lovász-softmax loss， adaptive 的 Linear Smooth Regularization(LSR)loss。

其中，lovász-softmax loss 用来缓解 class imbalance 的影响，LSR 用来促进 smooth 的 prediction，以便于利用类间的关系建立起关联。

对于 Objective，我在这里不多做赘述，感兴趣的小伙伴可以去看我们的 paper。

实验结果

我们在 GTAV→Cityscapes 和 SYNTHIA→Cityscapes 上验证了我们方法的有效性。

Ablation study:

其中，“Sim-PLCA”指的是直接增强关联像素对相似度的方式，“PLCA w/o. SAGG”指的是不采用 spatial aggregation 建立关联。

同之前方法的比较:

详细的实验结果和分析，感兴趣的小伙伴可以去看我们的 paper。

本文提出的方法在跨域语义分割方面，取得了不错的结果。我们相信，本文的方法可以延伸到其他相关领域，比如说 weakly-supervised learning, unsupervised feature learning 等。

更多阅读

#投 稿 通 道#

让你的论文被更多人看到

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。

???? 来稿标准：

• 稿件确系个人原创作品，来稿需注明作者个人信息(姓名+学校/工作单位+学历/职位+研究方向)

• 如果文章并非首发，请在投稿时提醒并附上所有已发布链接

• PaperWeekly 默认每篇文章都是首发，均会添加“原创”标志

???? 投稿邮箱：

• 投稿邮箱：hr@paperweekly.site

• 所有文章配图，请单独在附件中发送

• 请留下即时联系方式(微信或手机)，以便我们在编辑发布时和作者沟通

????

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。