对比学习+分割 | 论文阅读

Contrastive Learning for Label Efficient Semantic Segmentation

在同一图片内，相同种类的像素应该接近，不同种类的像素应该远离；鼓励像素根据其标签分成不同的簇。

在不同的图片间，引入额外的正例，即为来自不同图像的同类像素，并认为是一种harder positive；但是不使用额外的负例，因为不同图片的不同类像素是一种easier negative。

Contrastive learning of global and local features for medical image segmentation with limited annotations

该方法从全局和局部的角度进行对比学习。

1.不同受试者的位于相同解剖区域的影像具有相似的内容，尤其是使用相同视野的相同模态，因此可以据此在image-level上构造全局的对比损失。

2.全局对比损失针对的是图像级表示，这对于像素级分割任务是不足够的，因此还需要学习局部表征来区分邻近区域。使用局部对比损失训练前l个decoder blocks。

Propagate yourself: Exploring pixel-level consistency for unsupervised visual representation learning

1.Pixel-level的对比学习——PixContrast Loss

在构造正负样本对的时候采用图片间的距离大小作为衡量，设置相似阈值，高于则正。
2. Pixel-to-propagation一致性-Pixpro loss
学习到的表征的空间敏感性和空间平滑性都会影响到下游任务的进度。空间敏感度就是区分在空间上接近像素的能力，也就是1所做的。而空间平滑度鼓励接近的像素在空间上相似。（总的来说，就是相邻区域相似但也能够区分）
对每一个像素，我们都传播相同图片上的像素的特征来对它进行平滑。整个的平滑结果采用不对称网络实现，包含两个部分：（1）转换网络g；（2）相似度计算网络，最终结果为这两部分的乘积。
这一部分也是只采用正例。

Contrastive Learning for Label Efficient Semantic Segmentation

在同一图片内，相同种类的像素应该接近，不同种类的像素应该远离；鼓励像素根据其标签分成不同的簇。

在不同的图片间，引入额外的正例，即为来自不同图像的同类像素，并认为是一种harder positive；但是不使用额外的负例，因为不同图片的不同类像素是一种easier negative。

Contrastive learning of global and local features for medical image segmentation with limited annotations

该方法从全局和局部的角度进行对比学习。

1.不同受试者的位于相同解剖区域的影像具有相似的内容，尤其是使用相同视野的相同模态，因此可以据此在image-level上构造全局的对比损失。

2.全局对比损失针对的是图像级表示，这对于像素级分割任务是不足够的，因此还需要学习局部表征来区分邻近区域。

使用局部对比损失训练前l个decoder blocks

Propagate yourself: Exploring pixel-level consistency for unsupervised visual representation learning

1.Pixel-level的对比学习——PixContrast Loss

在构造正负样本对的时候采用图片间的距离大小作为衡量，设置相似阈值，高于则正。

2.Pixel-to-propagation一致性-Pixpro loss

学习到的表征的空间敏感性和空间平滑性都会影响到下游任务的进度。空间敏感度就是区分在空间上接近像素的能力，也就是1所做的。而空间平滑度鼓励接近的像素在空间上相似。（总的来说，就是相邻区域相似但也能够区分）

对每一个像素，我们都传播相同图片上的像素的特征来对它进行平滑。整个的平滑结果采用不对称网络实现，包含两个部分：（1）转换网络g；（2）相似度计算网络，最终结果为这两部分的乘积。

这一部分也是只采用正例。

Positional contrastive learning for volumetric medical image segmentation

这个方法的出发点也是受试者的影像是具有相似性的。与之前的方法只考虑到不同患者相同位置的相似性不同，这篇文章认为（1）经过对齐之后，不同患者的相同位置影像相似；（2）同一患者的相邻切片相似。

Bootstrap Representation Learning for Segmentation on Medical Volumes and Sequences

1.通过在同一或不同容量中的局部表征预测学习表征
之前的方法认为：来自同一个样本的切片就是相似的，而不同样本的切片就不相似。本文就提出基于切片间相似程度计算来判断相似与否，而不是是否来自同一样本这种简单的标准。因此就提出了一个特定距离注意力引导模块。

-为了让后续的密集预测更加稳定，引入了注意力模块提取和利用全局上下文信息。

-相对距离嵌入用来衡量相似程度（引入阈值，如果距离过大，那就是用很不相似的slice进行预测，这当然是不应该的，所以排除这种预测），直接和Nonlocal的结果concat，然后通过1x1卷积得到预测结果，再与另一分支的结果计算cosine相似度。

2.通过加强labelled和unlabelled样本间的一致性来校准decoder的特征
前景-背景校准。其实也是加强对有标签数据的利用。前景与前景接近，与背景远离。为了减少计算量就采用了原型的方法。这里不采用无标签数据集的背景作为负例，避免背景的结构复杂性导致学习到的表征不稳定。