论文笔记：TMI2021 Semantic-Oriented Labeled-to-Unlabeled Distribution Translation for Image Segmentation

开源

1.Introduction

逐像素分类并忽略了不同图像中像素的语义相关性，导致特征分布模糊。 此外，像素级注释数据在医学领域很少见，稀缺的注释数据通常表现出相对于期望值的偏差分布，阻碍了监督学习设置下的性能提升。

CNN在医学图像分割中的局限性：

1）只使用像素级约束，忽略了不同图像的像素之间的语义关系。这些方法无法处理由于像素的巨大变化而导致的同一类别内广泛分布的特征分布

2）逐像素标注很难得到。考虑到分布偏差取决于样本量，由于样本量小，稀缺的标记数据分布通常会偏离期望的分布，这不可避免地导致优化模型的过度拟合问题。 幸运的是，未标记的数据丰富且在实际临床实践中易于访问。

为解决问题1），文中提出利用对比学习，以获得紧凑的类内特征表示和可分离的类间特征表示。尽管 CL 在图像分割中的性能有所提高，但这些逐像素判别方法并未对数据分布的语义结构进行编码。像素级 CL 将两个来自不同的类别像素视为负对，不管负集中像素的相关性如何，这样那些具有相似特征表示的负像素就会被不希望地推开。为了缓解这个问题，求助于原型，即语义相似组的特征质心，并提出面向语义的对比学习（SoCL）来明确地保持特征空间中的语义连贯性。首先设计了一个语义分组模块，将像素分组为一组相干区域，并为特征细化去除不必要的噪声。利用派生的分组信息，提取的特征图可以用来产生一组原型，原型可以解释为一组语义相似像素的“代表特征”。我们为每个类别分配几个原型来表示不同的数据分布，并在不同原型之间构建对比损失，以明确学习判别特征表示。

为解决问题2），先前的方法例如数据增强(合成的数据仍在标注分布内，会导致错误)、半监督(生成伪标签，但标记数据的偏差分布可能会导致噪声伪标签，从而导致错误累积和训练不稳定)。文重新思考了由少量采样标记数据引起的过度拟合问题，并利用增强和半监督方法的优势提出了一种新的策略，即标记到未标记的分布转换 (L2uDT)。 L2uDT以大量未标注数据为指导，在特征层面对有限的标注数据进行翻译和扩充，旨在缓解标注数据分布偏差问题，推导出准确的决策边界。在 L2uDT 中，首先设计了一个偏差估计器来测量标记和未标记数据分布之间的偏差，然后引入渐进式移位以获得最大程度的可靠转变，计算出的分布偏差和平移度用于将标记数据分布逐步转换为未标记数据分布，并逐渐攻击决策边界。我们的主要发现是，所提出的 L2uDT 只能利用少量标记数据来学习具有良好泛化能力的决策边界：它不会过度依赖有限的标记数据，同时利用未标记数据的更丰富信息。

2.Method

 

A. Semantic-Oriented Contrastive Learning

1) Semantic Grouping Module: 左上角，核心思路为w_k包含高级语义信息并表示相应组内的典型特征。 通过1*1卷积+softamx得到分组map。

2) Semantic-Oriented Contrastive Loss:

得到原型后，计算原型相似矩阵的InfoNce loss

存在问题：首先，由于语义分组模块的无监督方式，一个组内的像素可能被分配到不同的类别，这导致了有偏差的对比对和原型对比学习的不稳定训练。 其次，派生的原型集中在多数类别中，而在少数类别中稀疏，这可能是由于医学图像分割中的类别不平衡问题造成的。

B. Labeled-to-Unlabeled Distribution Translation

1) Bias Estimator:

由于标记数据的样本量有限和采样过程中的随机性，有限的标记数据分布通常会偏离所需的数据分布。 考虑到大样本量可以减少分布偏差，我们打算利用广泛的未标记数据来指导所需的数据分布近似，从而实现无偏差优化。 为此，我们设计了一个偏差估计器来测量标记和未标记数据分布之间的偏差，该偏差被定义为标记和未标记数据原型之间的距离。 通过估计的分布偏差，我们可以将标记数据的原型转换为从未标记数据派生的相应原型，从而驱动标记特征与期望的特征紧密分布。

2) Gradual-Paced Shift:

3) Theoretical Analysis:

上述证明

 

3.Experiment and results

两组数据集上验证+八组消融实验