自监督医学图像Models Genesis: Generic Autodidactic Models for 3D Medical Image Analysis论文精读笔记

Models Genesis: Generic Autodidactic Models for 3D Medical Image Analysis

论文下载地址：Models Genesis: Generic Autodidactic Models for 3D Medical Image Analysis
代码地址：代码-Github

背景

  从自然图像到医学图像的迁移学习已经成为医学图像分析最实用的方法之一。最重要的成像模式（如CT和MRI）中的3D成像任务必须在2D中重新制定和解决，但是它会丢失丰富的3D解剖信息从而不可避免地影响性能。为了克服这一局限性，作者建立了一组模型，称为通用自动教学模型。因为它们是在无需手动标记的、通过自监督学习和通用（用作生成特定于应用程序的目标模型的源模型）。通用表征学习的好处在于，单个任务的数据量不大，难以训练一个好的模型。如果将所有任务放在一起，就会有更多的数据，进而更好地提升模型的性能。

贡献

  设计了一个针对三维医学图像分析的预训练模型来解决以前只能使用在lmageNet二维数据的预训练模型的问题，并且得到更好的效果：在5个医学图像的分割和分类问题上取得领先的效果。这一性能归功于统一的自监督学习框架，该框架建立在一个简单但强大的观察之上：医学图像中复杂但反复出现的解剖结构可以作为深度模型的强大监督信号，通过自监督来自动学习常见的解剖表示。Models Genesis始终领先于任何2D方法，包括微调从ImageNet预先训练的模型，以及微调Models Genesis的2D版本，确认三维解剖信息的重要性以及我们的模型Genesis对三维医学成像的意义。另外，预训练的encoder可以单独做分类，encoder-decoder结构用来做下游任务的分割等。

方法

总体框架

  论文提出的自监督学习框架由两个部分组成：image deformation和图像恢复，其中采用编码器-解码器架构的架构使Genesis通过从变换后的patch恢复原始patch来进行训练，目的是学习11种常见的视觉表示，这些视觉表示可以在疾病、器官和模式之间迁移和推广，从而产生高性能的目标模型。作者建立了3D U-Ne