Inherent Consistent Learning for Accurate Semi-supervised Medical Image Segmentation
摘要
- 内在一致性学习(ICL)
- 通过标记数据和未标记数据的语义一致性引导来学习鲁棒的语义类别表示
- 引入了两个外部模块:监督语义代理适配器(SSPA)和无监督语义一致学习器(USCL)
- 基于注意机制来对齐有标签数据和无标签数据的语义类别
方法
主要是中间那一部分,上面是有监督的代理,下面是无监督的代理
通过这两个代理来约束
推理的时候不用代理
- 单编码器-解码器
- 监督语义代理适配器(SSPA)和无监督语义一致学习器(USCL)的外部模块
- 一个初始化的语义感知代理Q∈Z×4C组成,该代理旨在从有限的标记数据中转移经过良好学习的语义表示。Z和C表示类别的数量(包括背景)和最后一个尺度的标记化特征维度。C是由于比例因子导致的当前代理的维度。
- 在训练中,xl和xu都被送到编码器-解码器主干,生成多尺度中间特征Fl, Fu使SSPA和USCL模块通过与初始化的语义感知代理交互来执行固有的一致学习方案。
SSPA:监督语义代理适配器
Q是可学习得向量
通过交叉注意力:可以得到两个分割结果图M和另一个Q
无监督语义一致性学习
G是无监督注意力图
p是无标签数据正向得到的预测
图中很容易看出
消融实验
做了关于SSPA的实验,主干网络为UNet/SwinUNET