【论文笔记】基于自监督学习的医学影像异常检测

论文：基于自监督学习的医学影像异常检测

参考：基于自监督学习的医学影像异常检测 - 中国知网

摘要：提出一种基于多模态医学影像的自监督方法, 该方法包括预训练任务和主要任务, 其中预训练任务是多视图分类任务, 主要任务是脑部肿瘤和肝脏的分割。

---

模型架构

模型架构

SLeM 采用类似 UNet 的网络结构, 包括编码器和解码器两部分，采用高效的空间金字塔块 (efficient spatial pyramid,ESP)。ESP 是一个高效的网络模块, 包含具有空间金字塔结构的点式卷积和扩张卷积. 点式卷积有助于减少计算量, 而扩张卷积可以对特征图进行重采样, 以便从较大的有效感受野中学习特征表征。对于解码器, 金字塔空间池化块(pyramid spatial pooling, PSP)和 CFB 是解码器中的主要块. PSP 得益于对全局信息的提取, 将像素级的特征扩展到设计的全局金字塔中 , 因此其结合了局部和全局特征, 使最终的预测更加可靠. CFB 使用密集反卷积和残差多核池化(residualmulti-kernel pooling, RMP)模块, 从目标对象的动态变化中提取丰富的特征。 

CFB架构

首先向 4 个级联分支注入多尺度的空洞卷积, 然后使用 RMP 模块捕捉更广泛和更深入的特征表示. CFB 中包含一个类似空洞金字塔池化(atrous spatial pyramid pooling, ASPP)的模块和一个 RMP 模块, 可以提取更丰富的语义特征信息.

预训练任务：自监督的多视图分类

设计了一个新的代理任务, 把随机组合的多视图的拼图作为输入,然后对这些输入进行分类.

对每个视图进行切片, 切片数量设置为M . 例如, 如果M=4 , SLeM 把原始图像分成 4 份. 新的组合图像由 4 个视图的切片构成, SLeM 将不同顺序 组 合 的 图 片 设 定 为 不 同 的 类 别 . 例 如 , BraTS2019 数据集有 4 个视图, 包括 T1, T2, T1ce 和 Flair.同一时间内, SLeM 将 4 个视图的分割块结合起来。

示例

收集每个组合图像和相应的类标签, 构建一个训练数据集。 

主要任务: 脑部肿瘤和肝脏的分割

预训练的编码器可以直接微调后应用于目标分割任务, 减少随机初始化的影响. 当网络对预训练任务进行自我训练后, 将其转移到一个新的任务上, 即对脑瘤和肝脏进行精确分割. 为此, SLeM 可以简单地将自监督任务(分类)的网络分类层替换为分割任务的网络层, 减少数据注释的成本; 此外, 冻结在自监督任务中学到的权重, 只对编码器和任务输出进行微调.

提出方法将多任务损失函数定义为分割任务的多视图交叉熵损失函数, 具体公式如下

实验结果

SLeM 采用 5 折交叉验证的评价策略平均随机变化并计算p 值, 该方法对DiceS 的数值进行单边双样本t 检验, 其与所有对比方法使用相同的训练和测试数据集. JiGen是一种多任务技术,将拼图解决方案作为领域泛化的预训练任务来执行; Supervoxel用图像修复作为自监督的代理任务, 使用基于监督的掩码创建图像来进行图像修复, 同时在主要任务中关注要分割的区域; Taleb使用 Sinkhorn 算子进行多视图的跨模态生成: 然而, 与原始图像相比, 上述方法生成的图像可能会造成失真, 影响分割任务的分割性能. Chang 等利用多源视图的图像作为一个集合体来预测分割掩码, 与本文方法使用预训练的策略相比, 该方法需要更多的计算时间和资源. 2D RC是一种自监督的方法, 利用三维拼图作为代理任务 . 与二维2D MG 和 2D RC 相比, SLeM 能更好地利用模态之间的互补特征; TransBTS采用多视图 MRI 进行脑瘤分割, 使用三维 CNN 模拟局部环境信息, 并利用 Transformer 学习全局语义关联; Models Gen-esis是一种三维自监督的方法, 采用多种图像重建任务学习未标记的扫描结果, 为了更好地进行比较, 使用该方法的二维版本(简称为 2D MG).

脑部肿瘤分割结果

肝脏分割结果

总结

使用一个多视图分类作为自监督任务,通过对目标域的简单微调可以解决下游的医学图像分割任务; 进一步降低了医学图像分割所需的人工标注成本, 在一些多视图样本下的实验结果也证明了这个优势; 最后, 自监督的分类任务可以通过学习多视图表示的丰富性提高分割的准确性.今后将把多视图自监督方法扩展到三维环境中（因为是将三维图像切片为2d进行处理）