迁移学习在医学图像分类中的应用

一 迁移学习

概念

迁移学习：将某个领域的知识或模式应用到另一个不相关的领域中
域（domain）：分为原域和目标域，即某个领域

分类

迁移学习策略

迁移学习模式

DCNN

用同一个深度卷积神经网络完成特征提取和分类

混合模式

用DCNN提取特征，用传统分类器进行分类

特征组合分类模式

特征提取又多个DCNN组合完成或组合DCNN和传统方法提取特征，分类由传统分类器完成

多分类器融合模式

分类由多个分类器的结果整合完成

其中，目标函数为各分类器损失函数之和。

二次迁移模式

二次迁移模式有一个源域、一个中间目标域 ( 也称为中间源域) 和一个最终目标域。在源域对模型进行第 1 次预训练，然后将模型迁移到中间目标域进行第 2 次预训练，再将经过二次预训练的模型迁移到最终目标域进行再训练。

目标函数为临时目标域和最终目标域损失函数之和

比较

二 基于迁移学习的医学图像分类

医学图像中常用预处理模型

迁移学习方法

基于模型参数

先使用源域的大量数据对模型预训练，然后将得到的权重参数进行迁移，最后使用少量目标数据 重新训练全连接层
适用场景：原任务与目标任务相近

基于特征提取

将 CNN 模型作为特征提取器 ，然后使用少量医学数据对网络进行微调，基于不同的微调策略训练出来的 CNN 模型性能也不同，所以微调策略是该类方法被关注的重点
适用场景：原数据与目标数据相近

基于特征映射

两个域之间存在差异，但经过设计映射到新的数据空间后，可能 更加相似。该方法通过调整源域数据的边际分布或条件分布后进行特征映射，以扩大训练集的规模，增强迁移学习的效果，可以降低模型对目标数据的依赖性
适用场景：原数据与目标数据相差较大

结合对抗网络

GAN是一种有效的数据增强方式，增加训练样本能够有效提升网络模型参数。目前的应用有：先在MRI图像上用GAN生成网络，再迁移到CT图像中一个具有注脚的文本¹

结合注意力机制

对于医学图像领域，注意力机制可以自动聚焦图像 中对疾病诊断重要的关键部分，从而提升模型性能，但会占用计算资源。

参考文献

[1]黎英,宋佩华.迁移学习在医学图像分类中的研究进展[J].中国图象图形学报,2022,27(03):672-686.
[2]高爽，徐巧枝. 迁移学习方法在医学图像领域的应用综述[J]. 计算机工程与应用, 2021, 57(24): 39-50.

---

1. LIAO X ，QIAN Y，CHEN Y，et al.MMTLNet：multi-modality transfer learning network with adversarial training for 3D whole heart segmentation[J].Computerized Medical Imaging and Graphics，2020，85：101785. ↩︎