Cytomorphology（细胞形态学）

Gao Z, Mao A, Wu K, et al. Childhood leukemia classification via information bottleneck enhanced hierarchical multi-instance learning[J]. IEEE Transactions on Medical Imaging, 2023.

1.摘要

白血病分类依赖于详细的骨髓的细胞形态观察 涂抹。然而，应用现有的深度学习方法 对它来说，它面临着两个重大限制。首先，这些方法需要在单元级别具有专家注释的大规模数据集才能获得良好的结果，并且通常存在泛化能力较差的问题。其次，他们简单地将骨髓细胞形态检查视为一项多分类细胞分类任务，从而未能利用不同等级白血病亚型之间的相关性。因此，骨髓细胞形态的评估作为一个耗时和重复的过程，仍然需要由有经验的细胞学家手动完成。近年来，多示例学习(MIL)在数据高效的医学图像处理方面取得了很大进展，它只需要患者级别的标签(可以从临床报告中提取)。针对上述局限性，本文提出了一种层次化的MIL框架，并为其配置了信息瓶颈(IB)。首先，为了处理患者级别的标签，我们的分层MIL框架使用基于注意力的学习来识别不同层次中具有高诊断价值的白血病分类细胞。然后，遵循信息瓶颈原理，提出了一种层次化的信息库来约束和提炼不同层次的表示，以达到更好的精确度和通用性。通过将我们的框架应用于一个大规模的儿童急性白血病数据集以及相应的骨髓涂片图像和临床报告，我们表明它可以识别与诊断相关的细胞，而不需要细胞级别的注释，并且性能优于其他比较方法。此外，在独立测试队列上进行的评估表明，我们的框架具有很高的通用性。

三级目录

Ngasa E E, Jang M A, Tarimo S A, et al. Diffusion-based Wasserstein generative adversarial network for blood cell image augmentation[J]. Engineering Applications of Artificial Intelligence, 2024, 133: 108221.

摘要

白细胞(WBC)是免疫系统的重要组成部分，其数量和分类计数对诊断血液相关疾病至关重要。虽然现有的研究主要集中在分类容易区分的主要WBC类型，但我们的研究深入研究了一个包含多达19个WBC类别的模型，其中一些显示出不规则的形状，手动区分具有挑战性。卷积神经网络(CNN)在准确分类这些复杂的白细胞类别方面取得了显著的进展。然而，这些模型的准确性主要取决于是否有足够合适的数据集，对于稀有的WBC类来说，获得这些数据集可能是具有挑战性的。为了解决这个问题，我们引入了一个产生式模型–基于扩散的带梯度惩罚的Wasserstein产生式对手网络(WGAN-GP)。该模型创新性地将去噪扩散概率模型(DDPM)正向扩散过程与WGAN-GP相结合，利用DDPM的噪声向量作为WGAN-GP生成器的输入。这种融合加速了生成过程，并显著提高了输出的保真度，特别是对于复杂的WBC图像。我们的模型在韩国顺春乡大学富川医院的一个包含19个白细胞类别的4,503张图像的数据集上展示了它的有效性，显示出在为罕见的白细胞类别生成高质量图像和解决数据失衡方面的显著改进。我们进一步将预先训练的CNN与支持向量机(SVM)相结合进行分类，其中我们的增强策略使ResNet50支持向量机模型在19个WBC类别的分类中获得了95%的平均准确率。这项研究不仅解决了数据不平衡的问题，还建立了WBC图像分析的新基准，展示了我们的模型在为稀有类生成高质量数据方面的有效性。

1.介绍

白细胞对人体的免疫系统至关重要，并保护我们的身体免受病原体的侵袭(Tigner等人，2020)。所有的WBC都不同于骨髓的多能干细胞，后者随后被释放到循环系统。WBC是一组异质性的有核细胞，外周血中的五种主要类型是中性粒细胞、淋巴细胞、单核细胞、嗜酸性粒细胞和嗜碱性粒细胞(Tigner等人，2020)。检测白细胞的数量和分类计数对于诊断各种疾病，特别是血液疾病是至关重要的。在实践中，由于几个因素，包括每种白细胞类型的成熟程度，循环中肿瘤细胞的存在，以及其他混杂细胞成分的识别，如有核红细胞(NRBC)和巨大血小板，很难获得准确的WBC分类计数。在临床实验室中，有两种方法被广泛用于鉴定外周血中的血细胞数量和分类计数。一种方法是用流式细胞仪进行自动血液分析，另一种是由专家在显微镜下对血涂片样本进行目视检查。尽管涉及自动血液分析仪的过程可以提供准确的血细胞计数结果，但无法准确识别各种类型的典型白细胞和其他混杂的伪影(Gulati等人，2022)。训练有素的专家需要人力，与自动细胞分析仪相比，这一点很难获得，也很耗时(Mohammed等人，2014年)。
本研究建议在WGAN-GP模型中加入DDPM的扩散过程，以解决GaN中收敛速度慢和扩散模型中采样速度慢的问题。DDPM的扩散过程会从WBC图像中产生纯噪声。它随后被用作WGAN-GP生成器的输入，以生成照片级真实感图像，取代了传统的随机噪声向量方法。

通过这种方法生成的扩展数据集提高了19个WBC类的深度学习模型的分类精度。我们对这项研究的主要贡献可以概括如下：

1.提出了一种新的生成模型–基于扩散的WGAN-GP，将DDPM的扩散过程与WGANGP相结合，以实现更快、更可控的图像生成，解决了WBC数据中的类不平衡问题，显著提高了分类性能。
2.我们将WBC分类扩展到包括19个不同的类别，包括稀有和未成熟细胞(与癌症相关)，这与以前的研究相比是一个重大进步，以前的研究主要集中在人眼容易区分的主要类别。从模型生成的数据集现在可以在GitHub上公开使用。可以在确认部分找到到存储库的链接。
本白皮书的其余部分的结构如下。在第二节中，我们讨论了相关的工作。第三节介绍了我们提出的对WBC进行扩充和分类的模型。我们使用不同的模型体系结构和训练设置进行了广泛的实验，并在第四节详细讨论了我们的结果。最后，第五节总结了本文提出的方法和发现。

2.相关工作

2.1白细胞分类

针对白细胞分类问题的不同CNN架构的研究。不同模型如LeNet-5、ResNet50、VGG19、Xception等被应用于开发白细胞分类模型，并取得了巨大成功。近期的发展包括引入CNN-RNN模型和SDCT-AuxNet𝜃体系结构，以提高分类准确率。此外，还介绍了区域CNN(R-CNN)技术的应用，并探讨了数据预处理和增强对分类精度的影响。这段话总结了针对白细胞分类问题的不同CNN架构的研究。不同模型如LeNet-5、ResNet50、VGG19、Xception等被应用于开发白细胞分类模型，并取得了巨大成功。近期的发展包括引入CNN-RNN模型和SDCT-AuxNet𝜃体系结构，以提高分类准确率。此外，还介绍了区域CNN(R-CNN)技术的应用，并探讨了数据预处理和增强对分类精度的影响。

2.2训练数据增强技术

用于WBC分类的训练深度CNN可能面临过度拟合挑战，特别是在转移的目标领域进行测试时。增强- ING训练数据集是克服过度拟合的最新方法， 研究人员将数据转换和生成模型结合在一起。通过各种技术进行数据增强也成为解决数据集不平衡或不足挑战的一种解决方案。吉达尔等人的研究。(2022)，Jung et al.(2022)，以及Bairaboina和Battula(2023)证明了Gans，特别是深度卷积Gans(DCGAN)通过解决数据不平衡问题来加强分类模型训练的有效性。
虽然数据增强是一个强大的工具，但它也伴随着挑战。最近的研究，如王等人。(2022b)，肖等人。(2021)和Preechakul等人。(2022)，重点是快速和高质量的生成模型，如扩散模型和GANS，以克服数据集过度拟合和不足的挑战。然而，正如郑等人所强调的那样，这些方法在训练和采样过程中存在计算成本高的问题。(2022年)。表1总结了白细胞扩增和分类方面的相关工作。

链接: link

文献综述发现，对于WBCS分类任务，可以使用完全学习或预先训练的CNN模型的迁移学习技术来构建CNN。此外，使用CNN模型作为特征提取和机器学习模型作为分类器的混合是一种很好的方法。数据变换被广泛应用于WBC分类，但生成性模型很少被应用。最显著的研究差距是，以前的研究涉及的类别比现有类型的白细胞更少。从算法的角度来看，基于扩散的生成性模型和GaN模型已被用于图像数据的生成，但存在学习速度慢和学习困难的问题。扩散和GaN的结合是Wang等人提出的。(2022年)工作。然而，这项工作为扩散过程的所有步骤训练GaN，并导致高计算成本。

3.提出的增强技术和分类模型

3.1数据增强模型

图像增强涉及更改现有数据以创建更多 用于模型训练的数据。最近，GANsS和扩散模型已经 已被认为是在各种应用中生成逼真图像的有效方法。在这些模型中，DDPM(Ho等人，2020a)、Wasserstein Gan(WGAN)(Arjovsky等人，2017)和WGANGP(Gulrajani等人，2017)在生成照片级逼真样本方面表现出非凡的性能。我们在19类WBC图像中评价了它们在解决失衡问题方面的表现：条状中性粒细胞、节段性中性粒细胞、嗜酸性粒细胞、嗜碱性粒细胞、淋巴细胞、单核细胞、早幼粒细胞、粒细胞、异系粒细胞、前淋巴细胞、未成熟细胞、淋巴细胞变异体、浆细胞、大颗粒淋巴细胞、异常细胞、污点细胞、伪影、NRBC和巨大血小板。我们提出了利用WGAN-GP中的扩散过程来快速采样高质量的WBC图像的方法，以解决我们数据集中的不平衡问题。

3.1.1通过DDPM进行数据增强

DDPM是一个生成性模型，它建立在Sohl-Dickstein等人首先提出的扩散模型概念的基础上。(2015)。受布朗运动等现象的启发，这一基本概念探索了粒子的渐进和随机扩散及其潜在的逆转，为生成性建模奠定了基础。扩散模型通过前向和后向过程进行操作，允许通过添加和去除噪声来生成与原始训练数据相似的数据。
DDPM在体系结构、问题设置和丢失功能方面进行了重大改进，从而完善了这一概念。其关键创新之处在于对扩散模型落后过程的处理方法。与Sohl-Dickstein等人不同。(2015)模型，该模型预测了每一步高斯分布的均值(𝜇𝜃)和方差(𝛴𝜃)，该模型侧重于预测代表每一步添加的噪声的单变量epsilon(𝜖)。在逆向过程中，DDPM将𝜇𝜃和𝛴𝜃作为𝜖的函数进计算，从而提高了图像生成的效率和效果。

为了使用DDPM生成WBC样本，首先对足够多的WBC图像样本进行训练，并进行大量的训练步骤。在训练过程中，该模型学习使用扩散过程来估计给定输入图像中WBC的概率分布。一旦训练，该模型就可以通过从该学习分布中进行采样来生成WBC的合成样本。

3.1.2通过GAN实现数据增强

GAN是一种生成性模型，它可以从类似于训练数据的分布中生成新数据。由GaN生成的数据不同于原始数据，并有助于学习概括为看不见的数据的特征(Strelcenia和Prakoonwit，2023)。
GAN的一般框架由两个网络组成：生成器𝐺和鉴别器𝐷，前者学习产生与训练数据相同的新样本，后者试图区分由生成器产生的真样本和假样本。这两个网络被来回训练，直到达到平衡。GAN的生成器可以通过以一种平衡的方式调整双方对手的训练来学习创建类似于训练集中的观察。具体地说，学习是生成器𝐺和鉴别器𝐷之间的对抗极大极小博弈(Tran等人，2021年)。极小极大博弈被表示为𝑚𝑖𝑛𝐺𝑚𝑎𝑥𝐷𝑉(𝐷，𝐺)，

图2描绘了GAN的结构。GaN的鉴别器和生成函数分别表示为𝐷和𝐺。潜在空间的概率分布通常是随机的高斯分布，用PZ表示。另一方面，Pdata表示训练数据集的概率分布。当样本x从Pdata中提取时，鉴别者的目标是将其分类为真实样本。生成器使用𝐺(𝑧创建一个样本)，其中z从pz中提取。当给出𝐺(𝑧)作为输入时，鉴别器的目的是将其分类为假样本。
WGAN-GP是一个生成性对抗网络，它使用Wasserstein损失公式和梯度范数惩罚来确保Lipschitz连续性。与标准GAN不同，标准GaN使用二进制交叉熵损失函数并预测[0，1]范围内的生成图像，而WGAN-GP批评者使用瓦瑟斯坦损失，并且在最终层中没有S型激活，使其能够预测[−∞，∞]范围内的任何数字。WGAN的批评者使用重量裁剪来防止渐变爆炸或消失。尽管如此，WGAN-GP有一种替代的裁剪技术来惩罚批评者关于其输入的梯度的范数，以及一种梯度惩罚来解决WGAN中遇到的挑战，从而实现稳定的训练，而不需要像等式一样进行太多的超参数调整。(6)以下为其目标。

3.1.3基于扩散的WGAN-GP数据增强

为了提高生成器的收敛速度和对输出进行更好的控制，我们提出了将DDPM的正向扩散过程与WGAN-GP相结合。我们的方法利用来自DDPM扩散过程的带噪的WBC向量作为WGAN-GP生成器的输入。这与使用随机噪声向量的传统方法形成对比，如图3所示

该方法中采用的DDPM前向扩散链以预定义的方差调度𝑥1，…)以𝑇步长将高斯噪声逐渐添加到真实的WBC图像𝛽0∼𝑞(𝑥0，𝛽𝑇：

一个值得注意的特性是，可以按照公式中定义的闭合形式对任意时间步长𝑥𝑡的𝑡进行采样。(8)。这种方法在DDPM的数据采样过程中是关键的，在该过程中，网络，特别是去噪U网，被迭代地训练以理解噪声模式。这种理解有助于随后的反向过程，在该过程中去除噪声以生成与训练数据相似的样本。该模型的复杂性在于其复杂的体系结构，具有多个神经网络层，每个层都有不同的参数集。在整个训练阶段，DDPM都会仔细调整这些参数，以掌握输入图像中像素之间复杂的统计关系。这种穷尽的优化过程对计算要求很高，需要大量的时间和计算资源。
为了克服扩散模型、GaN模型和以前的扩散GaN模型的缺点，我们的目标是在保持模型复杂性的同时提高模型的稳定性。所提出的基于扩散的WGANGP模型与扩散-GaN方法的用途和目的有很大的不同。正如先前文献中探索的那样，扩散-GaN方法专注于通过自适应扩散过程来扩散真实和生成的数据，并将鉴别器限定为时间相关，而我们提出的模型将DDPM的扩散正向过程与WGAN-GP相结合，以加快生成器的速度并保持对输出的更好控制。这种新颖的积分允许使用正向过程产生的噪声矢量作为WGAN-GP生成器的输入，与原始GaN模型中随机噪声的传统使用截然不同。因此，我们的模型旨在提高收敛速度，避免扩散过程中的采样挑战，并有助于创建更高质量和更逼真的WBC图像。

3.2白细胞分类模型

对于像图像模式识别和分类这样的大型任务，CNN应该包含许多非常深的层。在其他情况下，从零开始训练一个非常庞大的CNN是必不可少的。在本研究中，我们研究了三个预训练模型VGG16(Simonyan和Zisserman，2014)、ResNet50(He等人，2016)和AlexNet(Krizhevsky等人，2012)在19类WBC图像上的分类性能。此外，我们还探索了将每个预先训练的模型作为特征提取器与传统的机器学习模型作为WBC的19个类别的分类器的组合。本研究中探索的作为分类器的传统机器学习模型有随机森林(Ho，1995)、k-近邻(k-NN)(Fix and Hodges，1952)和支持向量机(Support Vector Machine，SVM)(Boser等人，1992)。

3.2.1基于预训练模型的WBC分类

对于我们数据集中的WBC分类，用初始化的ImageNet数据集的权重来训练每个预训练的AlexNet、VGG-16和ResNet-50模型，以提高模型的泛化能力。为了捕捉我们数据集的鲜明特征，我们固定了ResNet-50和VGG16预训练模型的前10层和AlexNet的4层，而保留了其他层的学习。我们修改了最后一层来分类我们的数据集，同时在训练期间对整个模型应用了替代的微调技术。它们的分类性能在实验部分得到了很好的说明。

3.2.2基于预先训练的CNN模型和传统机器学习的混合WBC分类

将预先训练的CNN模型与传统机器学习算法相结合，显著提高了WBC分类精度(AlDera和Othman，2022)。由于K-NN、随机森林和支持向量机三种算法具有明显的优势和适用性，本研究选择了这三种算法。
K-NN是一种非参数方法，它根据k个近邻的多数票对数据进行分类。它能有效地处理多类分类问题。随机森林是一种集成学习方法，通过组合多个决策树来缓解过拟合，在处理高维数据方面表现出色；支持向量机是一种健壮的监督学习算法，使用超平面将数据有效地分类。它在医学图像分析中特别有优势(Truong et a K-NN，一种非参数方法，根据k个近邻的多数投票对数据进行分类。它能有效地处理多类分类问题。随机森林是一种集成学习方法，通过组合多个决策树来缓解过拟合，在处理高维数据方面表现出色；支持向量机是一种健壮的监督学习算法，使用超平面将数据有效地分类。它在医学图像分析中特别有优势(Truong等人，2021)。在探索的模型中，支持向量机的优越性能促使它被选择进行进一步的分析。
CNN擅长从图像中提取空间特征，而支持向量机则擅长于通过基于超平面的数据分离进行分类。利用预先训练的CNN模型从广泛的数据集训练中学习的特征，大大提高了WBC分类的准确性。
这种混合模型将CNN模型学习的特征与支持向量机分类器相结合，以实现精确分类。模型的改变包括将损失函数改变为平方铰链，并使用L2正则化增加正则化的致密层。这种混合模型对多类分类任务的端到端训练遵循了唐等人的S提出的方法(唐，2013年)。结合ResNet-50和支持向量机的体系结构如图4所示。

4.Experiments

我们对我们的数据集进行了详细的审查，并展示了在不同设置和方法下执行的实验结果。为了缓解潜在的类别失衡挑战，我们采用了一种数据增强方法，同时引入了一种新的基于扩散的WGAN-GP模型。利用分类数据增强，我们为每个小类构建了不同的模型，特别是针对样本少于50个的类。通过采用这种选择性的方法，我们的目的是防止生成模型在向所有班级提供数据时偏向主要班级样本，从而阻碍班级失衡问题的解决，而不是有效地解决这些问题。
尽管样本是在class-wise上生成的，但我们在培训GaN方面面临着挑战。因此，我们采用了WGAN-GP，它旨在克服模式崩溃问题和非信息丢失问题。当我们尝试将DCGAN用于图像生成时，我们面临着模式崩溃问题，这意味着该模型在特定的点上产生一些可以愚弄鉴别者的噪声模式。在所采用的WGAN-GP中，通过在目标函数中加入梯度惩罚项来解决模式崩溃问题；WGAN-GP通过鼓励评论者提供平滑和局部的Lipschitz连续预测来进一步增强稳定性并减轻模式崩溃。

这确保了更稳定的学习过程，并防止生成器崩溃为有限模式。
其次，对于模式崩溃问题，我们检查了鉴别器和生成器的学习曲线。我们确认在我们的实验中没有模型崩溃问题，因为学习曲线似乎是稳定的。当模式崩溃问题发生时，学习曲线表现出不稳定的动力学。此外，我们在训练结束后对生成的图像的质量进行了衡量。
这种图像的分类生成有效地防止了对多数或少数类的偏差，并成功地缓解了图像生成过程中的不平衡问题。随后，我们在均衡的训练数据集上训练分类器模型，以避免过度拟合，增强泛化能力。

4.1.Dataset

我们从韩国顺春乡大学富川医院2022年1月至2022年5月收集的血片中获得了4503张WBC的样本图像(360×366×3 RGB像素)。这项研究得到了顺春乡大学富川医院机构审查委员会的批准(SCHBC 2022-12-015)。在医院科室，医生审查了常见规则，一名医疗保健专业人员进行了分类。主管提供了最后的确认。样例类不重叠。虽然某些类型的白细胞，如嗜碱性粒细胞和未成熟的嗜酸性粒细胞，在某些情况下可能会在血液中以不同的形式出现，但我们的数据集的分类严格区分了这些形式。从生理学的角度来看，嗜碱性粒细胞和嗜酸性粒细胞经历了髓系干细胞-成髓细胞-未成熟的嗜酸性粒细胞(或未成熟的嗜碱性粒细胞)-嗜酸性粒细胞(或嗜碱性粒细胞)的发育阶段。同样，未成熟的单核细胞、早幼粒细胞、髓细胞等也可以被认为是未成熟细胞。在我们采用的分类中，术语‘’未成熟细胞‘’包括(1)可能出现在白血病和其他血癌中的恶性细胞和(2)未成熟的正常血细胞。因此，我们认为在类别上没有重叠。17类(人工制品)、18类(NRBC)和19类(巨型血小板)的样本确实不是白细胞，它们是在外周血涂片中可能被误解为白细胞的细胞。更详细地说，17类不是白细胞，但可能类似于白细胞；18类是分化不完全的红细胞，保留了细胞核并与白细胞混淆；19类是血小板，但看起来比平时大得多，导致与白细胞混淆。这些情况在外周血涂片中相对常见，由于它们有可能导致错误，因此被纳入进行准确的分类。表2显示了每个类别的图像数量，图5显示了样本。

4.2.模型的实验设置

4.2.1. WGAN-GP model setting

我们使用四个卷积2D层、Leaky-Relu激活函数和批归一化来定义模型的批评者和生成器，以提高速度、性能和稳定性。为了提高泛化能力，采用了4个较小的批次，8000个历元的学习率为0.0002。使用KERAS随机加权平均层来生成内插图像和计算梯度损失，通过最小化梯度惩罚项来鼓励模型符合Lipschitz常数。
我们通过视觉检查确保我们生成的图像满足以下标准(Mariani等人，2018年)。与我们的原始数据集一样，生成的图像应该与类中的其他图像相似。生成的图像不应全部相同或重复。生成的图像应与训练集中已有的图像不同。
在这项研究中，研究人员通过随机混合真实和生成的样本来进行视觉检查，以测试是否可以检测到假冒样本。这项研究的视觉检查发现，大多数生成的样本都与真实样本相似，证明了WGAN-GP的有效性。经过训练的WGAN-GP生成了大约7600个图像，每个WBC类有400个图像，图6显示了从WGAN-GP生成的样本。

4.2.2. DDPM model setting

在生成用于训练目的的WBC图像时，我们使用Ho等人的体系结构。(2020b)，并在Nicole和Dhariwal(2021)和Song等人中提出了一些修改。(2021年)。在我们的训练中，我们使用了ADAM优化器，学习速度为1×10−4，𝛽1=0.9，𝛽2=0.999，𝜖=1×10−8。另外，对于大于1的梯度范数，我们使用了梯度裁剪。对于学习速度计划，我们使用了1000步线性热身。我们使用Batch Size=2，并针对1到200K迭代进行训练。此外，我们每1000步保留一个检查点，检查点中最好的模型是基于获得的FID分数，图7显示了DDPM生成的图像样本。

4.2.3. Diffusion-based WGAN-GP model setting

WGAN-GP模型的设置与上一节相同。为了融入DDPM的前向扩散过程，我们使用前向扩散过程的最后一步来创建一个噪声WBC图像向量作为WGAN-GP模型中生成器的输入。这不像在传统的WGAN-GP模型中那样使用随机噪声向量。我们使用系数为0.01的扩散过程和1000的几个扩散步骤来生成噪声图像向量。将扩散时间步长设置为1000可以在模型表达能力和计算效率之间进行权衡，使模型能够在合理延长的时间范围内捕获数据中的复杂模式和相关性，而不会过度增加计算负载。图8示出了高质量的生成图像的样本。

4.2.4. Pre-trained CNN models setting and SVM setting

所有模型都使用在ImageNet数据集上训练的权重进行初始化，并使用0.0001的学习率进行训练。所有实验的总历元数被设置为500个。在给定随机选取的数据集大小的情况下，在训练和评估过程中，每个模型都使用了十倍交叉验证策略。在该方法中，数据集被划分为10个部分，CNN模型在9个独立的数据文件夹上训练，并在剩余的数据文件夹上进行验证。在对模型进行训练和验证后，从留出的测试样本中随机选择一组测试数据来评估模型在该文件夹上的性能。这个过程重复十次。
通过在每个CNN模型的最终致密层嵌入支持向量机分类器，实现了CNN模型和支持向量机的混合。这种组合是通过声明0.01正则化的权重衰减(L2)作为对损失函数的权重大小的惩罚来实现的，该损失函数应用于致密层的核、Softmax激活函数和平方铰链损失函数，以使多类支持向量机能够用于多类分类任务。

4.3. Results and discussion

这一部分介绍了结果，并讨论了生成合成血细胞图像的评估模型。我们还深入研究了使用原始数据集和扩充数据集对白细胞进行分类的分类模型的功能。最初，我们使用不平衡的数据集对分类模型进行实验，随后使用平衡的训练数据集，利用增强技术进行实验。该技术包括利用WGAN-GP、DDPM和提出的基于扩散的WGAN-GP生成模型。

4.3.1. Classification results evaluation

为了确保全面概述，我们将结果分为两个主要部分：表3和表4。

表3明确显示了使用原始不平衡数据集训练的模型所取得的结果，如表2所示。提供的指标包括准确度、F1分数、召回率和精确度，代表了10倍测试场景中19个WBC类别的平均性能。该表有效地展示了CNN模型的能力，特别是在与支持向量机分类器结合时。这突出了预先训练模型的稳健泛化能力和支持向量机分类器的区分能力之间的强大协同作用。

展望未来，表4将我们的分析扩展到在扩充数据集上训练的模型，纳入了WGAN-GP、DDPM和提出的基于扩散的WGAN-GP生成模型的结果。在不同的分类模型中，包括VGG16、ResNet50和AlexNet，增强的影响在性能指标的显著改进中变得明显。特别值得注意的是ResNet50支持向量机模型，它以最高的准确率、F1得分、召回率和精确度脱颖而出，在平衡的训练数据集上获得了基于扩散的WGAN-GP。

我们扩大了我们的分析范围，以包括使用表5所示的传统数据增强方法(旋转、翻转、平移、缩放、剪切和随机裁剪)对数据集进行平衡训练的模型的结果，方法是仔细应用上述技术的组合，使每类WBC中的训练数据与生成模型中应用的相同，包括本研究中分析的建议模型。这些结果表明，虽然传统的增强方法比在原始不平衡数据集上的训练更好地提高了分类模型的性能，但它们的性能优于最近的生成模型，包括我们提出的基于扩散的WGAN-GP。这一比较突出了我们提出的方法的先进能力，它能够在基础原始数据分布和各种合成数据上生成更真实的数据，从而更好地解决WBC分类中数据量不平衡的挑战。

我们的研究结果还表明，尽管DDPM有能力生成更高质量的图像，但WGAN-GP在分类泛化方面优于DDPM。该表总结了对各种生成模型进行的量化分析，提供了对生成样本的质量的见解。WGAN-GP的卓越性能表明它具有保存底层数据分布并生成更全面的WBC图像阵列的能力，从而增强了泛化能力。令人兴奋的是，未来的研究途径可以进一步优化WGAN-GP，以取得更显著的结果。as demonstrated in Fig. 9 and Table 7.

此外，我们的实验表明，使用基于扩散的WGAN-GP进行数据增强可以获得比单独使用WGAN-GP更高的性能。这是因为WBC图像中的噪声向量包含更相关的信息，帮助生成器更快地学习以产生更真实和多样化的WBC图像，从而导致更快和更高质量的收敛，如图10和图11中由评论家和生成器每个时期的损失所描绘的。我们的研究强调了在医学图像分析中使用基于扩散的WGAN-GP作为一种有效的增强技术来提高分类模型的准确性的潜力。

ResNet50-SVM模型的归一化混淆矩阵如图12所示，汇总了表4中突出显示的最佳性能模型的结果。该矩阵按类别评估我们的模型预测，表示每个类别标签的实际值的总数。通过对其进行归一化，我们确定了基于所有真实标签对每个类别标签进行预测的百分比。总体而言，该图说明了以下情况：

在本研究中，所有模型对巨型血小板、异常细胞和前淋巴细胞表现良好，其次是嗜碱性粒细胞、浆细胞、嗜酸性粒细胞、早幼粒细胞、大颗粒淋巴细胞、污点细胞、伪影和NRBC，对其他类型表现一般，但对淋巴细胞变异型表现不佳。图中显示，淋巴细胞变异型被高度错分为未成熟细胞、单核细胞和大颗粒淋巴细胞，分别为12%、7%和3%。
在淋巴细胞变异形式类的情况下，即使在 同一级，形状和大小不同(异质性)，细胞质的颜色可以有类似于单核细胞级的淡蓝色。这两类细胞之间的区别在于，单核细胞类中的一些样本在细胞核中有中空部分，如图13中的红色箭头所示。未成熟细胞类包括疑似肿瘤的细胞，其形状与正常细胞分开。因此，未成熟的细胞与其他细胞混淆。然而，它们通常在细胞核中显示颗粒状核仁。这种细胞的特点是细胞核和细胞之间的比例很大。
在淋巴细胞变异形式类的情况下，即使在 同一级，形状和大小不同(异质性)，细胞质的颜色可以有类似于单核细胞级的淡蓝色。这两类细胞之间的区别在于，单核细胞类中的一些样本在细胞核中有中空部分，如图13中的红色箭头所示。未成熟细胞类包括疑似肿瘤的细胞，其形状与正常细胞分开。因此，未成熟的细胞与其他细胞混淆。然而，它们通常在细胞核中显示颗粒状核仁。这种细胞的特点是细胞核和细胞之间的比例很大。

我们观察到图14所示的归一化混淆矩阵揭示了值得注意的见解。具体地说，如表2所示，当使用原始不平衡数据集来训练和评估分类模型(ResNet-SVM)时，样本大小相对有限的类别，即[08_Myelcell，09_Metamelcell，10_ProLymous，13_P浆_CELL，15_Abarious_Cell]，与具有较高样本计数的类别相比，表现出相当低的分数[0.55，0.40，0.19，0.59，0.15]，如表2所示。

相反，图12中所示的具有数据扩充的归一化混淆矩阵的分析展示了与没有数据扩充的混淆矩阵相比值得注意的进步。具体地说，当使用通过基于扩散的WGAN-GP增强生成的增强的和平衡的训练数据集来训练和评估分类模型时，类别[08_骨髓细胞、09_偏粒细胞、10_前淋巴细胞、13_血浆_细胞、15_异常_细胞]展示了更高的分数[0.92、0.95、0.97、1.0、0.98]。这些改进的结果强调了增强技术在解决分类模型训练期间的班级不平衡方面的有效性。这反过来又有助于加强泛化和增强分类性能，从而建立一种最佳的方法来协助医学专业人员对血细胞进行识别和分类。

4.3.2. Generated sample quality comparison

我们采用了特定的评价指标来定量评估实验下的生成模型和所提出的生成模型的性能。为此选择的衡量标准是初始得分(IS)(Barratt和Sharma，2018年)和Fréchet初始距离(FID)(Heusel等人，2017年)。
这些度量的有效性在于它们能够提供所生成图像质量的客观度量。FID值越低，图像质量越高，而初始分数越高，生成的图像越逼真。这些指标共同实现了各种生成模型的图像生成能力之间的稳健比较。

表7和表8中性能指标说明了DDPM 性能优于其他两个模型，在生成合成 血细胞图像和无条件CIFAR-10图像分别为 增强技术。尽管DDPM质量上乘，但它是复杂的- 在培训和图像生成过程中进行高强度的培训。它需要 与其他评估模型相比，实现最高质量图像所需的时间很长。相反，提出的基于扩散的WGAN-GP模型减少了训练和图像生成所需的时间，使其成为更实用的增强任务选择。此外，DDPM生成的合成血细胞图像的质量较好，导致分类性能低于其他生成模型，如表4所示的19类WBC数据集以及表6所示的CIFAR-10数据集。这表明，该方法生成的样本与真实图像相似，但这些样本与真实图像相似，不能很好地推广分类模型。对于含有不规则形状的次类，在分类不平衡的情况下进行分类，需要生成多样化的图像。

4.3.3. Comparison with existing work

这一部分从理论上进行了比较分析。 和实验视角。从理论上讲，我们 已经将我们提出的模型与两个基本模型和 类似的工作。Gans可以产生高质量的图像， 与其他一些生成性模式相比，计算资源很少- ELS。然而，对抗性训练过程可能会导致以下问题 当模式崩溃时，生成器产生有限种类的 样本。DDPM有一个更稳定的培训过程，没有Advisor- 严格的培训动态，降低模式崩溃的风险。扩散 另一方面，模型通过将 学习过程，并逐渐在样本中引入噪音，但 以增加计算复杂性为代价。DDPM能够 产生高质量的图像。已经有人试图取代 U-Nets与Gans一起使用时，从 后向过程中去噪较少的图像(Wang等人，2022b)。 在他们的工作中，Gans被用在反向过程中来恢复 去噪图像前向过程中的去噪实景图像 在向后的过程中。该模型的基本原理是提供适当的噪声，以促进GaN的训练。它们引入了依赖时间的GAN，它在反向过程中获取所有去噪图像，并在前向过程中训练从去噪图像中恢复噪声图像的模型。该模型试图通过提供与时间相关的多幅图像来解决模式崩溃问题，但没有解决DDPM中模型的复杂性。该模型综合了两种模型，解决了DDPM模型的复杂性和GaN中的模式坍塌问题，具有创新性。我们的模型是一种新颖的替代后向过程的模型，它采用U网沿着后向过程中的多个过程。这是首次尝试用一次性GaN取代耗时的反向工艺。
我们将我们的模型应用于表9中的开放数据，其中仅 BCD数据集是公共的，它有四个类。在以前的工作中， 采用传统的数据增强变换。我们有 将这种转变替换为我们建议的基于扩散的WGAN- GP模型。在表10中，我们给出了以下分类性能 在BCD数据集上的ResNet50支持向量机模型，显示了优越的度量 在准确性、F1评分、召回率和精确度方面，与基准研究相比，突出了我们基于扩散的WGAN-GP增强技术的有效性。我们还使用了前人工作中广泛使用的DCGAN进行了比较分析。其他增强方法没有公开可用的，所以我们将DCGAN设置为比较模型。我们还将该分类模型与我们工作中使用的ReseNet50-支持向量机进行了比较。我们使用W-Net和InceptionV3对我们的数据集进行了分类。W-Net(Jung et al.，2022)模型利用专门为WBC图像分类量身定做的CNN结构。它具有三个卷积层和两个完全连接的层，其中三个卷积层的滤光片尺寸不断增加，采用RELU激活和丢弃规则化来提高性能并防止过度匹配。InceptionV3(Szegedy等人，2016b)代表了图像识别深度学习体系结构演变的关键模型，该模型是为提高准确性和效率而开发的。该模型是先启系列的一部分，以其在同一层内同时使用不同大小的卷积来捕获不同比例的特征的新颖使用而闻名。在扩展的ImageNet数据集上进行训练，其设计有助于迁移学习，允许最后一层的再培训以适应新的图像分类，例如区分各种类型的WBC，这与其在我们的增强WBC分类研究中的应用相一致。


表11详细介绍了我们的生成模型的定量评估，其中我们基于扩散的WGAN-GP模型在平均余弦相似度和FID得分方面优于传统的DCGAN，表明生成的血细胞图像具有更高的质量和多样性。表12对比了使用DCGAN和我们的基于扩散的WGAN-GP扩充训练数据时的分类性能。我们的模型显示了优越的准确率、F1分数、召回率和精确度，突出了我们的增强技术在改善分类结果方面的有效性。


通过比较分析，阐明了 我们提出的模型，特别是在处理不同的班级和有效地解决班级失衡问题方面。该增强技术与ResNet50支持向量机模型的创新应用相结合，显著提高了分类精度和模型的稳健性。这突出了我们在医学图像分析方面的工作的新颖性和现实意义，并为该领域未来的研究设定了一个新的基准。

4.3.4. Limitations and future directions

我们的工作有一个局限性，即使用基本的CNN模型作为分类模型。我们计划采用最新的算法来取代ResNet。在未来的工作中，我们将使用被称为最先进的算法的视觉转换器(VIT)来完成各种图像分类任务。视觉变压器作为一种分类模型，即使在没有数据增强的情况下，也在以前的工作中表现出了出色的性能(Tarimo等人，2024)。我们预计，用VIT取代ResNet将提高性能。更深入的研究将致力于将VIT纳入GaN模型。我们将不使用基于CNN的生成器，而是探索如何将VIT集成到生成器中。VIT将图像分成多个补丁，并使用自我关注来考虑这些补丁之间的顺序和上下文。在鉴别器中使用VIT应该是直截了当的，但将其集成到发电机中将是具有挑战性的。由于图像块之间的上下文解释有利于图像理解，因此也有利于图像的生成。
在本文中，我们使用数据扩充的方法来解决类不平衡问题。我们还可以采取另一种方法，一节课极端学习(Li等人，2018)来解决班级不平衡问题。该模型侧重于通过对多数类的特征进行建模来识别离群值或异常，并识别偏离这一规范的情况，从而解决类不平衡问题。在以后的工作中，我们将把我们的模型与单类极端学习方法结合起来，以提高分类性能。
物理信息神经网络是一种创新的方法 通过将深度学习技术与物理定律相结合来解决物理和工程方程。它显示了在医学领域的适用性(Zhang等人，2022)。我们可以使用这些物理信息神经网络来检测可能发展为癌症的异常类别。我们可以开发一种模型，通过结合从数据中得出模式的深度学习，应用白细胞如何发展为非典型细胞或非典型细胞如何发展的物理规律。此外，研究特定领域知识的整合，例如，在生物医学数据集(如Bio ImageNet)上训练的模型可以在学习过程中提供更相关的预训练特征，并改进模型的性能，特别是在处理罕见或非典型医学病例时。
此外，未来工作的一个有价值的方向是探索该模型在不同类型的医学图像数据中的有效性，扩展到WBC图像之外。这一扩展可能包括测试该模型在分析其他医学领域的图像时的适应性和准确性，例如放射学、病理学或皮肤病。此外，将该模型集成到临床环境中的诊断工作流中可以提供对其在现实世界医疗诊断中的实用和有效性的见解。这些探索将验证该模型的多功能性，并有助于将其演变为医学图像分析中的综合工具。
这些未来的方向旨在扩大模型的能力，确保其在推进医学图像分析领域的相关性和实用性。

5. Conclusion

提出了一种新颖的基于扩散的Wasserstein生成对抗网络(WGAN-GP)模型，用于增强稀有白细胞(WBC)图像。这种新的方法旨在解决数据不平衡的挑战，显著提高了生成的图像的质量，从而促进了对19个白细胞类别的更准确的分类。该模型的核心是将去噪扩散概率模型(DDPM)的正向扩散过程与WGAN-GP相结合。这种融合利用了DDPM产生的噪声向量作为WGAN-GP生成器的输入，与传统方法不同，产生了卓越的图像质量。
我们的综合分类方法将预先训练好的卷积神经网络(CNN)作为特征抽取器，以支持向量机(SVMs)作为分类器，取得了显著的效果。在包含多个WBC类的不同真实数据集上进行评估时，我们的模型在样本生成方面表现出更快的收敛速度，并且与在原始不平衡数据集上训练的模型相比，准确率显著提高了16%。这一改进在较小的WBC类别的分类中尤其显著，强调了我们的模型在增强数据表示方面的有效性。
实验结果和专家评估证实了生成的WBC图像与原始样本的高保真度。这一验证突显了我们的人工智能辅助方法在革命性WBC分析方面的潜力，对诊断血液相关疾病具有深远影响。展望未来，我们设想将我们的框架的适用性扩展到更大的数据集，并探索其对医学图像分析的其他领域的普适性，进一步巩固其在推进医疗保健人工智能领域的作用。