这篇论文的核心就是从全图像和局部斑块中获得的特征或预测之间应用对比学习或一致性约束,从而鼓励网络在半监督的医学图像分割中学习局部特征。
1/提出了一种交叉层次(cross-level)对比学习方案,以增强半监督医学图像分割中局部特征的表示能力。
2/与现有的基于图像、batch和点的对比学习算法相比,新方法能够探索更复杂的相似性线索,即全局与局部补丁表示之间的关系特征。
3/设计了一种新颖的一致性约束,用于比较补丁与整图的预测结果,以充分利用跨层次的语义关系
网络流程:
1/将原图分成多个小patches,和原图分别输入unet的特征提取器中;分别生成图像的全局特征以及patch的局部特征。额,其实这里不确定输入的unetbackbone的情况,因为原图和patch的size不一致,但是通过同一个特征提取器,总觉得哪里怪怪的。
2/分别对提取得到全局/局部特征进行投影,然后进行对比。相关loss函数如下:
3/同时对全局/局部特征进行预测,然后获取同一个patch的分割预测结果,进行一致性评价。相关loss函数如下: