TPAMI 2024 | 跨图像像素对比的语义分割方法

Cross-Image Pixel Contrasting for Semantic Segmentation

题目：跨图像像素对比的语义分割方法

作者：Tianfei Zhou; Wenguan Wang
源码：https://github.com/tfzhou/ContrastiveSeg

---

摘要

本文研究了图像语义分割问题。现有方法主要关注于挖掘“局部”上下文，即通过特别设计上下文聚合模块（例如，扩张卷积、神经注意力）或结构感知优化目标（例如，IoU损失）在单个图像内部像素之间的依赖关系。然而，它们忽略了训练数据的“全局”上下文，即不同图像中像素之间丰富的语义关系。受到无监督对比表示学习最新进展的启发，我们提出了一种像素级对比算法，称为PiCo，用于完全监督学习环境中的语义分割。核心思想是强制同一语义类别的像素嵌入比不同类别的嵌入更相似。它通过显式探索标记像素的结构，提出了一种像素级度量学习范式，这在以前很少被研究。我们的训练算法与现代分割解决方案兼容，在测试期间没有额外开销。我们通过在多个数据集（例如，Cityscapes、