论文阅读：A Progressive Generative Adversarial Method for Structurally Inadequate Medical Image Data Augm_gan-based data augmentation for diabetic retinopat-CSDN博客

本文链接：https://blog.csdn.net/OctYZ/article/details/146240271

0. Abstract

背景：

超声图像在结构上存在不足，使得生成网络难以捕捉其结构，导致生成的图像缺乏结构合法性。

工作：

本文提出了一种用于结构不足医学影像数据增强的渐进生成对抗方法，包括一种网络和一种策略。我们的渐进纹理生成对抗网络缓解了生成过程中完全截断结构和纹理重建的负面影响，并增强了结构与纹理之间的隐式关联。
基于掩码重建的图像数据增强策略从新颖的角度克服了数据不平衡问题，保持了生成数据中结构的合法性，并增加了疾病数据的可解释多样性。

结果：

实验在定性和定量上证明了我们的方法在结构不足医学影像数据增强和图像重建方面的有效性。
最后，病变的弱监督分割是我们方法的额外贡献。

1. INTRODUCTION

辅助诊断研究（Auxiliary Diagnosis research based on Deep Learning, ADDL）已经接近甚至超越了医生的表现。
传统增强（Traditional Augmentation, TA）
合成增强（Synthetic Augmentation, SA）
感兴趣区域（Region Of Interest, ROI）

TA分为两类：几何变换和颜色变换。
SA分为两类：基于插值的合成方法和基于生成模型的合成方法。

基于插值的方法包括SMOTE[2]、SamplePairing[3]和mixup[4]。
基于生成对抗网络（GAN）的生成增强方法在一定程度上实现了样本空间外的数据增强。

超声图像具有成像角度和尺度灵活多变的优势。但从另一角度来看，超声数据的结构不完善，导致生成的样本在超声图像中缺乏合法性。

图1中的甲状腺超声图像是我们先前研究的生成结果，其中气管和动脉的位置及特征完全偏离。
本文聚焦于甲状腺超声图像，旨在解决基于生成的增强方法难以维持结构合法性的问题。

本文提出了一个强有力的假设：医学图像 = 局部人体结构 + 组织纹理。
针对结构不一致的数据建模，生成模型只能学习到相对统一的纹理。
本文提出了一种用于结构不完整医学图像数据增强的渐进生成对抗方法（Progressive Generative Adversarial Metho, PGAM），
该方法通过修复病变数据中的病灶来增强正常数据，并通过**条件类别敏感策略（Conditional Category-Sensitive Strategy）**缓解病变数据之间的不平衡。整个过程仅使用图像级标注和病灶的点标注（医生在超声检查中用于测量病灶大小的标注，如图2(a)所示）。

本文的贡献如下：

针对结构不完整图像的数据增强任务，提出了一种渐进生成对抗方法，在保留合法结构的前提下完成图像增强；
提出了一种渐进纹理生成对抗网络（Progressive Texture Generative Adversarial Network, PTGAN），该网络集成了结构和纹理的修复过程，对病灶修复和新病灶合成具有有益效果；
提出了一种基于掩膜重建的图像数据增强策略（Image Data Augmentation Strategy based on MaskReconstruction, MR-IDAS），其中条件类别敏感策略在先验指导下增加了病灶样本分布的多样性；
该方法还可以通过点标注实现病灶的弱监督分割。

2. RELATED WORKS

2.1 GAN for medical data augmentation

基于GAN的数据增强方法可分为3类：

噪声向量：许多方法通过以一维噪声向量为输入，生成虚假的皮肤镜图像[10]、MRI图像[14]、胸部X光图像[15]，以增强不平衡的图像数据集。对于较为复杂的数据如超声图像，Al-Dhabyani等人[8]关注于感兴趣区域（ROI），避免了结构不完整的乳腺超声图像所带来的问题。
分割掩码：这些方法多用于细胞图像生成[9]、[16]以及CT图像生成[17]。尽管掩码限制了新样本中病变的形状，但无法控制病变范围之外的结构。
真实图像：这类方法[6]、[7]通过编码和解码使生成器学习真实数据与虚假数据之间的映射关系。其中，[18]将两张图像（异常和正常）合成为一张异常图像，确保了结构的合法性，但其多样性有限。

大多数基于GAN的医学图像数据增强方法的数据具有一致或松散的结构。
上述方法在采样潜在特征时缺乏先验知识的约束。更具体地说，样本的多样性及其在特征空间中分布的合理性需要同时考虑。
因此，值得研究一种针对结构不完整图像的数据增强方法，并权衡生成数据的多样性与分布合理性之间的关系。==图像修复方法==为我们提供了灵感。

2.2 GAN-based Image Inpainting Method

基于GAN的图像修复方法包括单阶段修复和多阶段修复。
[19]首次将GAN用于图像修复。
[20]在单阶段恢复的潜在向量z的基础上修复了受损图像。
[21]认为修复和掩码是一个互补的过程，同时学习有助于两项任务取得更好的结果。
受[22]的启发，[23]使用两个判别器（一个全局、一个局部）对抗性地去除了MRI中的金属植入物。虽然[24]将图像修复分为内容和纹理两部分，但它本质上是对图像内容的单阶段修复。

根据第一步修复的内容，多阶段方法可分为：a) 边缘；b) 结构；c) 粗略结果；d) 其他优化策略[25]、[26]。
首先，[27]–[29]在第一步生成图像的边缘和颜色，并在第二步整合信息以完成修复任务。
[30]也是一种轮廓补全方法，但它使用了额外的显著性信息。
[31]在第一阶段修复了图像的整体结构，并在第二阶段修复了细节。
[32]提出了一种内容+纹理修复的方法。
[33]提出了从低分辨率到高分辨率的渐进式修复过程。
[34]引入了一种两阶段由粗到细的网络架构，其中第一个网络进行初始粗略预测，第二个网络以粗略预测为输入并预测精细结果。

尽管图像结构和纹理分别重建可以提高生成模型的重建性能，但这些元素之间的隐含关联和渐进关系被忽略了。
因此，本文以渐进的方式加强了图像结构和纹理之间的增量关系。

3. METHODS

渐进纹理生成对抗网络
基于掩模重建的图像数据增强策略
仅使用图像级标注和点标注

我们方法的流程图如图3所示。
PTGAN 包括 渐进纹理模块（Progressive Texture Module, PTM）、精炼模块（Refining Module, RM） 和损失函数。
MR-IDAS 包括针对疾病数据的条件类别敏感策略（Conditional Category-Sensitive Strategy, CCS） 和针对正常-疾病数据的组织纹理重建策略（Tissue Texture Reconstruction Strategy, TTR）。

3.1 Progressive Texture GAN Overview

该方法的核心思想之一是将结构与纹理的重建过程结合起来，进行渐进式纹理学习。
整个模型的损失函数由各模块的损失组成：

其中 $L_C$ 为交叉熵损失，它在生成疾病数据时对生成器生成特定疾病类别的错误施加惩罚。
$L_P$ 和 $L_R$ 分别为PTM和RM的损失。
$λ *$ 表示每个损失的权重。

3.1.1 渐近纹理模块

该模块由生成器 $G_P$ 和判别器 $D_P$ 组成。
渐进纹理模块（PTM）利用从简单到复杂的不同细节程度的图像结构作为监督。

训练过程被分解为图像内容的逐步纹理学习。
我们将原始图像定义为 $I_{gt}$ ，掩码定义为 $M$ 。 $M$ 可以理解为一个简单的二值化矩阵，其中0表示缺失区域，1表示背景。
图像结构与纹理的融合表示为 $S_i$ ，其中 $i \in [1, n]$ ，表示结构中包含的不同程度的纹理细节。 $n$ 表示PTM中的渐进训练次数。 $i$ 越小， $S$ 中包含的高频纹理特征越少，可以通过均值滤波计算。
如公式（2）所示。

其中 $k_i$ 表示滤波器核的大小，(x, y) 表示像素的坐标。为了确保滤波后的图像仍保持原始尺寸，应进行填充操作。
选择均值滤波作为结构-纹理混合的融合方法的原因是，均值滤波不仅可以减少高频信息（如斑点噪声）对建模的不利影响，还可以通过调整核大小来调整纹理细节组合的程度。图像经过均值滤波后，每个像素具有更大的感受野，在反向传播过程中提供更密集的监督。

渐进纹理学习生成器表示为：

其中 × 表示逐像素乘积。三个元素连接在一起作为网络的输入。
随着训练的进行，生成器和判别器的联合损失将逐渐被优化。

其中 $L_{l1}$ 是重构损失，计算生成结果与S之间的 $l 1$ 距离， $L_{Pd_i}$ 是判别器的对抗损失， $\alpha$ 是正则化参数。

3.1.2 精炼模块

在 PTM 之后，由于监督信息被过滤以平滑高频信息，因此需要另一个精炼生成器 $G_R$ 和相应的判别器 $D_R$ 来在 RM 中生成更逼真的图像。
整个精炼过程可以表示为：

其中 $I$ 是最终生成的图像，损失函数可表示为：

其中， $L_{l1}$ 是精细重构损失。借鉴 [35] 的思想， $L_f$ 使用 Appearance Flow，用于比较输入图像中缺失区域 $\hat{F_{x,y}}$ 的特征与 Ground Truth 特征 $F_{x,y}$ 之间的余弦相似度（Sim(·)）。N 是集合 M = 1 中的元素数量。 $L_{Rd}$ 是判别器 $D_R$ 的对抗损失。 $\beta$ 用于调整各损失之间的权重。

3.2 Image Data Augmentation Strategy Overview

二值化掩码虽然简单，但对生成的多样化样本贡献有限。
本文提出的策略通过掩码重建增加了生成疾病数据的多样性。

3.2.1 条件类别敏感策略

我们首先对良性和恶性结节的均值和方差进行了分布统计，发现存在一定差异，如图4所示。

因此，我们使用公式(12)中的掩码与先验约束进行了新颖的整合。

其中 $M_{0-1}$ 是一个双通道的 0-1 矩阵， $\mu(I^T)$ 和 $\sigma(I^T)$ 分别表示结节区域内的均值和方差， $\otimes$ 是通道间的乘法操作。

因此，由第 III-A 节模型生成的结果可重写为：

使用均值和方差的原因在于这两个数值特征具有实际意义，能在一定程度上代表结节的回声和组织成分。
因此，在数据生成的采样阶段，通过改变采样的条件分布来实现新样本的多样性。但同时也需要遵循数据的先验分布，以确保特征分布的合理性，如公式 15-18 所示，其中 $\mu(·)$ 和 $\sigma(·)$ 如图4所示。

3.2.2 组织纹理重建策略

甲状腺超声图像中正常与病变数据之间的转换问题可以简化为病灶数据的修复问题。

通过公式3和7修复超声图像中的组织区域，并使用随机掩码训练 PT-GAN。
TTR 中的M是一个简单的 0-1 矩阵。使用带有结节的图像 $S_i$ 训练生成器不会使模型生成结节。
因为：

对于从病变数据到正常数据的转换，大多数研究基于一个假设[36]：使用正常数据训练的生成器可以去除病变，因为生成器尚未学习病变的分布。然而，超声图像独特的灵活性使得这一假设在超声图像中不成立。因此，对于结构不一致的数据建模，生成模型只能学习到相对均匀的组织纹理。
根据结节大小筛选数据后，结节覆盖的区域较小，因此随机掩码导致绝大多数缺失区域为正常组织。尽管我们可以使掩码不与结节重叠，但发现即使不限制掩码的位置，也不会对生成器产生负面影响。

4. RESULTS

4.1 Dataset and experimental setup

本文中的甲状腺超声图像数据采集自天津医科大学肿瘤医院，包括8232张良性图像（BI，图2©）、9966张恶性图像（MI，图2(d)）和404张正常图像（NI，图2(b)），均由专业影像医师标注。
我们将数据集划分为不同子集以训练和测试 PTGAN 及分类器，如图5(a)所示。

PTGAN的训练集包含4000张BI、6000张MI，验证集包含2000张BI、2000张MI。
我们选择VGG-19[37]作为辅助诊断模型。在正常-疾病实验中，我们将285张NI、1932张BI和1666张MI作为训练集，119张NI、300张BI和300张MI作为测试集，如图5(b)所示。
由于良性和恶性数据之间不存在不平衡，我们随机选取特定类别的部分数据人为制造不平衡情况，如图5(b)所示。

首先，部分BI（700训练，300测试）和MI（3666训练，300测试）被作为数据集之一用于辅助诊断模型。
其次，部分MI（800训练，300测试）和BI（3932训练，300测试）被作为另一个不平衡数据集。
最后，生成的数据分别加入训练集，如图5(b)中的虚线框所示。

输入图像大小为256×256像素，批量大小为6。

PTM 和 RM 分别训练后进行联合优化。
每当训练稳定 5 次时，核大小 k 更新一次，即超参数 n 设置为5。
使用学习率为 10−4 的 Adam 优化器。设置 λp = λr = λc = 1，α 设置为 0.8，β 设置为 0.85。

4.2 Normal-disease data augmentation

本实验中的输入图像被随机框掩码，且忽略了 CCS。
首先进行定性分析展示从疾病数据生成的正常数据结果，
然后通过定量分析证明 PGAM 对分类器的积极影响。

4.2.1 定性分析

在图6中，我们展示了真实疾病图像（包括良性和恶性）、由 PTGAN 生成的图像、PTGAN 无 PTM、PTGAN 无 RM、PTGAN 无 PTM&RM的生成图像。

PTM 能够引导网络生成更有意义的结构和纹理。没有 PTM 的模型生成的结构和纹理更加混乱。
RM 使生成图像的细节更加真实，包括超声图像特有的斑点噪声。
我们使用相同的训练策略与最新的图像修复方法[38]、[39]进行比较，如图6的最后两行所示。显然，我们的方法在病变重建方面具有更优越的效果。
对于掩膜与动脉低回声区域相连的情况（第一列和第四列），现有方法无法重建被破坏的血管壁。我们的方法在有效恢复正常组织纹理的基础上，能够重建被掩膜的血管壁。

图7展示了我们方法中带有掩膜皮肤纹理图像的重建过程。
第一行从左到右展示了结构和纹理的逐步重建。第二行从右到左展示了细化模块对超声图像细节优化的效果。

4.2.2 定量分析

由于疾病与正常数据之间缺乏匹配，我们在定性评估 PTGAN 效果时，随机选取区域对验证集中的图像进行修复，并比较了不同方法之间的PSNR和SSIM指标，如表I所示。

我们还进行了数据增强实验，并与TA进行了对比，如表II所示。

我们使用生成数据将训练集平衡至接近的数量，如图5(b)所示。

4.3 Disease data augmentation

在本实验中，输入图像通过固定框进行掩码处理，以遮挡结节。

4.3.1 定性分析

我们通过消融实验验证了 PTM 对图像生成的影响以及 CCS 对 PTGAN 生成样本多样性的贡献，分别使用了PTGAN、PTGAN w/o PTM、PTGAN w/o CCS和PTGAN w/o PTM&CCS进行实验。实验结果如图8所示。

我们发现 PTM 能够引导生成器生成椭圆形的结节。
在缺少 PTM 的情况下，生成的结节会偏向于掩码的形状（矩形），如图8第二列所示。
在没有 PTM 约束的情况下，模型在结构和纹理的重建上会出现混淆，如图8第三列所示。
当掩码覆盖部分皮肤时，只有PTM能够使模型重建皮肤组织下的结节。反之，在没有PTM的情况下，皮肤纹理会在皮肤组织下重新生成。
CCS 使模型能够在条件概率下获得最大似然估计。生成结果的视觉效果在图8中无法清晰展示。

因此，我们在图9中展示了不同采样条件下的多样性。

随着采样均值的增加，生成结节的回声强度逐渐降低。
随着采样方差的增加，生成结节中的实性成分逐渐增加。

因此，我们通过采样不同均值和方差的良性和恶性结节分布，重建了多样且合理分布的新数据。

4.3.2 定量分析

为了证明我们的方法能够缓解不同疾病之间的数据不平衡问题，我们选择了一小部分良性数据和全部恶性数据进行实验。
通过随机选择样本生成新的良性图像。整个过程没有引入额外的样本。
实验结果如表III所示，表中的 IC 表示不平衡类别，即数据集中稀缺的数据。

此外，我们还对恶性数据进行了数据增强实验，使其数据量与良性数据的数据增强设置大致相同。可以看出（表IV），我们的方法对每个类别具有相同的增强效果。

表IV中的 NPV 表示阴性预测值，即 TN/(TN + FN) 。
在良性数据稀缺的情况下，模型倾向于陷入偏向恶性类别的局部最优解。因此，我们选择假阳性率（FPR）和精确率来衡量不同增强方法的效果。可以看出，我们的方法能够显著减少假阳性。
当恶性数据稀缺时，我们选择假阴性率（FNR）和NPV。结果表明，当我们的方法与 TA 结合时，可以获得最高的准确率。然而，在FPR和FNR方面，我们的方法最大限度地减少了数据偏差的不良影响。

此外，为了证明我们的方法在解决数据不平衡问题上的能力，我们在恶性数据不平衡的情况下进行了多次不同稀缺程度的实验。具体而言，通过将训练集中的恶性数据数量分别限制为800、900、1000、1100和1200，并在有足够良性数据的情况下进行实验，结果如图10所示。