【论文笔记AAAI2021】——Edge-competing Pathological Liver Vessel Segmentation with Limited Labels

Introduction

Goal

微血管侵犯(MVI) 的诊断需要发现含有肝癌细胞的血管，并计算它们在每条血管中的数量，这在很大程度上依赖于医生的经验，在很大程度上是主观和耗时的。
对于病理性肝血管的分割，由于精确标注这些血管非常繁琐、耗时和昂贵，目前还没有专门的数据集。

Motivation

我们首先收集了一个病理肝脏图像数据集，其中包含522张完整的病理切片图像，包括血管、MVI，它可作为病理肝脏图像分析研究的基准。

1. 病理肝脏图像具有一些独特的属性，如超大样本尺寸、多尺度血管、血管边缘模糊等，这对血管的精确分割具有挑战性。
2. 通过二值化处理可以得到大部分血管的粗边缘。对于含有肝癌细胞的血管，二值化处理将无法精细分割这些patch。然而，结合erosion and dilation操作，二值化处理容易产生一些过分割或欠分割的血管。

Contribution

1. 首先，我们收集了一个病理肝脏图像数据集，其中包含522张完整的病理切片图像，有血管、MVI的标记。它可以很容易地作为肝细胞癌分析的基准。
2. 其次，提出的分割网络结合了一个边缘感知自监督模块和两个分割判别器，有效地解决了病理血管分割中的难题。在此基础上，首先提出了两个判别器之间的边缘竞争机制，用于学习过分割和欠分割斑块的精确分割，有效地缓解了对大量标注的依赖。
3. 最后，在有限的标签下，EVS-Net取得了与完全监督的结果相当的结果，为病理肝血管分割提供了一个方便的工具。

Related work

略。。。

Method

病理肝血管分割流程图。
总共分三个阶段：

1. 病理切片预处理——对于从整个切片病理图像上切下的大量未标记的斑块，医生只需要标记有限的斑块。同时，经过二值化处理后，通过不同的侵蚀和膨胀操作，生成一些欠分段(过分段)斑块和欠分段(过分段)斑块。
2. 分割网络——然后，提出了基于上述有限标签、过分割和欠分割的patch的EVS-Net分割方法。EVS-Net包括病理血管分割网络(PVSN)、判别器部分。分割网络首先使用有限的标签进行训练初始化PVSN。
3. 边缘对抗判别器——针对过分割和欠分割的斑块，训练这两个判别器来判别分割后的血管和背景是否含有剩余的特征。在训练阶段，对于一个未标记的patch，只有当预测的掩模是完美的分割时，才能同时满足两个鉴别器的真实准则，从而使PVSN分割更加准确。

病理切片预处理

• 病理肝脏图像具有超大尺寸、多尺度血管。同时，血管和背景的面积也不平衡。为了得到有用的训练样本，我们首先根据白颜色对血管的一般位置进行定位。然后，采用三种尺寸从整个切片图像的定位位置周围切割出小块，得到大量的patch，S={x1，x2···，xN}。
• 医生只需要给有限的贴片贴上标签
  
• 对于每个patch x，过分割(over-seg)的mask 𝑚 ̅可以被描述成：（感觉这里文章写错了，应该是r1<r2，有大佬觉得没写错的麻烦给我讲解一下）
  
  同理，欠分割的mask被描述为：（同样的我感觉，应该是r1>r2）
  
  [1]代表了与mask大小相同的单位矩阵，𝒯_𝑜𝑡𝑠𝑢代表OTSU二值化算法；
  𝔖：the disk structuring element，我自己感觉应该是代表了血管形状结构的元素。
  ⊝：the erosion operation by structure 𝔖_𝑟1 with radius r1，以r1为半径的血管结构收缩操作。
  ⊕：the dilation operation by structure 𝔖_𝑟2 with radius r2.。
  r1和r2都是整数。获得的𝑚 ̅是背景的mask。

分割网络

有标签label

分割网络ℱ_𝜃被设计成一个编码器解码器架构，对于标记的patch x，分割结果m…来近似真是mask m，损失函数为Dice loss，采用拉普拉斯平滑参数，防止零误差，减少过拟合。



对于标记样本，我们通过合成背景来增加样本的多样性。合成背景是通过添加其他纯背景并将新值归一化到正常范围来生成的。

无标签label

• 对于未标记样本，我们引入了一种边缘感知的自监督策略，可以增强血管的边缘一致性。核心思想：仿射变换矩阵M，仿射变换图像分割结果ℱ_𝜃 (𝑀𝑥)应该与仿射变换mask一致
  
• 边缘邻域权图w：
  
• 边缘感知自监督损失：
  
• 边缘感知自监督机制不仅增强了被分割血管的边缘一致性，而且可以消除预测mask中不合理的漏洞，因为不合理的洞会被赋予很高的权重。

边缘竞争判别器

将边缘竞争机制引入血管分割框架，有效地缓解了标注的依赖性。以过分割集和欠分割集为基础，我们设计两个判别器来区分分割的图像是都是一个纯血管或者纯背景。
过分割鉴别器（OS-D）：用于区分分割后的背景是否含有剩余的血管特征。
欠分割判别器（US-D）：用于区分分割后的血管是否含有剩余的背景特征。
输出条件：网络完美分割，两个鉴别器同时满足真实准则。

以过分割判别器为例子：

OS-D的真实条件是分割后的背景不包含任何剩余血管特征。分割网络与OS-D之间的对抗优化将约束分割网络预测的分割背景不包含血管特征。

• 判别器正样本（图下方为正样本）
  过分割集图像的三元组（输入图像、过分割图像mask、背景图像）
  
• 判别器负样本
  预测图像三元组（输入图像、预测图像mask、预测背景图像）
  
• 损失函数
  
  
  The 𝐼 ̂_𝑏 is sampled uniformly along straight lines between pairs of points sampled from the generated background triplet distribution ℙ ̈_𝑏 and the under-segmented triplet distribution ℙ_𝑏。生成数据和真实数据之间的均匀采样。
  第二项的梯度惩罚在WGAN-GP中被提出，对权重增加惩罚项，使得在原始数据和生成数据中间地带的权重的尽量小。
  

总体算法

• 监督Dice loss对有限标记斑块的病理血管分割网络进行训练
• 引入边缘感知自监督，以增强具有大量未标记patch的血管边缘一致性
• 两个鉴别器相互竞争预测mask的边缘位置，从而对分割后的mask进行细化。
• 在训练阶段，我们从未标记patch集S，标记patch集𝕊，过分割集𝕆，欠分割集𝕌中使用随机抽样的样本，交替优化分割网络ℱ_𝜃和两个判别器。

实验

DeeplabV3+是所有方法中性能最好的。E(100)获得的SOTA结果与现有的非完全监督方法相当。

分别对边缘感知自监督、过分割鉴别器、欠分割鉴别器、两个鉴别器以及不同标记斑块数量进行了消融研究。

• E(10)的预测mask比𝐸_𝑜𝑣𝑒𝑟^− 和𝐸_under^−具有准确的边缘，验证了边缘竞争的有效性和必要性。
• 我们可以看到self-里有很多孔，相比之下，E(10)的结果是准确的，这表明边缘感知自监督也有利于消除不正确的孔。
• 对于不同标记数量的patch，我们发现临界值为10个标记样本，可以提供相对充分的指导。