论文阅读：医学图像数据集扩充方法研究进展

摘要

---

背景：

• 计算机辅助诊断（CAD）
• 训练样本受成像成本、标记成本和涉及患者隐私等因素的影响，导致训练图像多样性不足且难以获取。

本文贡献：

对医学图像数据集扩充方法的研究进展进行综述。

1. 对比分析基于几何变换和基于生成对抗网络的扩充方法；
2. 介绍基于生成对抗网络扩充方法的改进及其适用场景；
3. 讨论医学图像数据集扩充领域的一些亟待解决的问题并对其未来发展趋势进行展望。

0. 引言

---

医学图像成像模态：

• 磁共振成像 （magnetic resonance imaging，MRI）
• 计算机断层扫描成像（computed tomography，CT）
• 正电子发射断层扫描成像（positron emission computed tomography，PET）

诊断难点：医学图像信息量庞大以及部分疾病的病变部位细小

医学图像数据集扩充方法：基于几何变换和基于生成对抗网络（generative adversarial network，GAN）的扩充方法

1. 基于几何变换的医学图像数据集扩充方法

---

两种操作方式：

1. 针对图像中像素点的灰度值进行操作，通过一系列变换函数的映射，改变像素点位置信息，使其纹理细节与原图保持一致；
2. 通过将图像内容变形重组，使其病变区域、感兴趣区域产生形变进而使该图像拥有更多样化的特征信息。

该扩充方法对数据集多样性的提升较少。

2. 基于GAN的医学图像数据集扩充方法

---

GAN 是一种生成式模型，其目的是构建一个从真实图像到潜在特征分布的显式映射关系，构建过程中不需要额外构造复杂的概率密度函数即可实现该映射关系。
GAN的训练过程可以概括为一个零和博弈的过程，其生成器希望生成的图像尽可能真实从而欺骗鉴别器，鉴别器则尽力分辨出真实图像和生成图像。

基于GAN的医学图像数据集扩充方法可以分为四类，分别为：

1. 无条件数据集扩充方法；
2. 条件数据集扩充方法；
3. 跨模态数据集扩充方法；
4. 与几何变换方法结合的数据集扩充方法

2.1 无条件数据集扩充方法

---

无条件数据集扩充方法是指在没有任何额外信息的情况下，仅利用高斯噪声或者均匀噪声作为GAN的输入而生成医学图像的一类方法。
该方法早期生成的图像存在分辨率低、图像模糊、 图像特征单一的问题，但可优化解决，其性能逐步上升。

案例：

• 肝脏病变CT图像
• 3D头部MRI图像
• CT肺结节图像
• 大脑切片MRI图像
• 脑部MRI图像

问题：
图像常出现一些与生理学相违背的现象，针对无条件数据集扩充方法的改进应考虑优化生成图像的结构。

2.2 条件数据集扩充方法

---

条件数据集扩充方法是指在生成新的医学图像时，一些先验信息如标签、文字、图片等跟随噪声信息一同输入到GAN的生成器。
先验信息能够起到指导模型生成的作用，在先验信息的约束之下生成的医学图像更符合人体的生理学构造。

案例：

• 新冠感染者的CT肺部图像
• 肺结节数据
• 高分辨率的彩色视网膜图像
• 皮肤图像生成与皮肤病变生成

优点：
在继承了无条件数据集扩充方法优点的同时，能够生成特定类型的图像。

问题：
该方法缩小了GAN的生成器样本空间从而对生成图像的多样性起到了限制作用，若想要获得更多样化的医学图像需要训练多个网络，这增加了额外的资源消耗。

2.3 跨模态数据集扩充方法

---

在跨模态数据集扩充方法中，使用最多的是有监督的像素到像素GAN（pixel-to-pixel GAN， Pix2PixGAN）和无监督的循环GAN（cycle GAN， CycleGAN）。
Pix2PixGAN 在训练过程中需要成对按像素值对齐的图像，图像的获取成本高昂；
CycleGAN 能够适用于非对齐的医学图像，但其生成效果不如Pix2PixGAN。

案例：

• 未对齐的目标图像被视为噪声并使用附加的配准网络进行训练以自适应地拟合未对齐的噪声分布
• 基于迭代的多尺度特征融合 GAN，有效降低图像的对齐损失
• 联邦域翻译新基准方法，缓解图像域移
• 有效地去除图像中的噪声分布，有效地去除图像中的噪声分布
• 互信息约束GAN，减少模态迁移过程中医学图像细节的丢失
• 边缘感知GAN，整合了边缘信息并优化生成图像的内容及结构纹理信息
• 两阶段的模态迁移方法
• 以 CycleGAN为基准生成二维超声心动图的方法

优点：
该方法在成像清晰度、图像多样性、特征多样性、网络收敛速度等方面都具有明显优势

问题：
该方法需要消耗更多的计算机算力资源以及对训练数据集有更高的要求

2.4 与几何变换结合的数据集扩充方法

---

GAN 的生成器对输入图像生成变形场、强度变换、仿射变换等模拟几何变换方法的操作，可避免生成图像缺乏特征多样性。

案例：

• 两步的基于GAN方法，生成脑部 MRI图像的纹理
• 对抗性数据集扩充方法
• 任务驱动型数据集扩充方法，三个医学数据集（心脏、前列腺和胰腺）
• 新的任务驱动数据集扩充方法，改变使用GAN模型随机增强训练示例却提升有限的现状，心脏MRI图像
• 新型联合强化学习方法，使用弱监督的GAN模型充当代理，并在给定样本作实例的情况下输出图像掩码，肌肉骨骼X光片
• 正则化对抗学习方法，人工指定生成范围和双层优化预定义操作，2D皮肤癌分类和3D腹部器官分割扩充

优点：
既能产生如基于几何变换扩充方法的真实性又能兼顾GAN生成图像的多样化

问题：
基于GAN的扩充方法不稳定、难训练、缺乏可解释性
基于几何变换扩充方法生成的图像数据分布过于一致

3. 总结与展望

---

问题：

1. 没有提出广泛接受的生成图像质量评价标准，多用：峰值信噪比（peak signal to noise ratio， PSNR）、IS、FID等来衡量图像质量
2. 2D医学图像无法 完整表达人体器官的结构特性
3. 仍致力于研究单模态医学图像生成，未充分利用医学图像的多模态信息
4. GAN生成的图像用于医学图像分析领域可能会带来不可预知的问题
5. 对其他领域的优秀模型的吸收和借鉴非常有限
6. 带标注医学图像数据难以获取

展望：

1. 建立广泛接受的定性评价标准
2. 医学图像分析对高维度的图像需求也将进一步增加
3. 从多模态图像出发生成综合性单模态图像的研究
4. GAN扩充的医学图像缺乏可解释性
5. 医学图像数据集扩充领域可以吸收其它领域的优秀成果
6. 解决标注数据集获取困难的问题