医学图像分割论文学习--利用深度学习和人脑医学成像进行多类疾病检测（2023）

文章链接：Multi-class disease detection using deep learning and human brain medical imaging - ScienceDirecthttps://www.sciencedirect.com/science/article/pii/S1746809423003087

 这里提了一笔AIGC（通过单一模型预测并分割），是一个不错的idea。

摘要

医学成像和深度学习方法显著提高了肿瘤和缺血性中风等脑部疾病的早期检测，精度更高。机器学习方法，特别是基于神经网络的算法，在医学图像分析中取得了巨大的成功，用于各种任务，包括脑肿瘤和缺血性中风的检测、分割和分类。通常，这些模型一次解决一个问题，这被认为是人工弱智能（AWI）。有必要开发能够将研究推向强大的或人工通用人工智能（AGI）的方法，其中单个模型可以解决多个任务。

在这项工作中，我们提出了基于卷积神经网络的集成模型来同时检测和分类两种脑部疾病，即肿瘤和缺血性中风。为此，通过合并两个开源数据集来创建一个新数据集：BRATS 2015 和 ISLES 2015。所设计的网络是基于UNET的编码器-解码器架构的增强，其中来自一个编码器块的特征图与后续编码器块的输出融合，以保持低级细粒度信息的完整，并在编码过程中区分重叠的特征以及UNET跳过连接。数据集分别以80：20的比例划分为训练集和验证集，每个训练批次中按比例包含图像，以解决类不平衡问题。通过所提出的模型获得的平均准确率为99.56%，特异性为99.99%，准确率为99.59%，F1-得分为99.57%。获得的性能得分表明了所提出的特征融合机制在多疾病检测中的可用性。

引言中最重要的部分是：在这项工作中，我们提出了一种语义分割模型，使用由两种疾病图像组成的数据集来检测和分割两种疾病，这是放射学中通用人工智能的尝试。可以推断，与设计特定于问题的模型相比，使用一个模型解决多个任务是一项艰巨的工作。作者已经确定了医学成像领域与脑异常的检测和分类相关的多个研究空白。首先，要求使用医学图像设计高性能和临床强度的方法（可用于临床实践的方法）进行疾病检测和分类。对于一些疾病，它仍然是一个开放的研究领域。像BRATS和ISLES这样的挑战就是这一要求的证据。其次，目前的方法仅限于解决单一任务，即狭隘的人工智能方法，这些方法面临多个问题，如成像数据缺乏清晰度，特征重叠以及脑血管和肿瘤性脑损伤的识别。需要开发可以一次解决多个放射性问题的方法。拟议的工作旨在通过开发一个基于深度学习的模型来解决这些差距，该模型可以同时检测和分类两种脑部疾病，肿瘤和缺血性中风。

需要更有效和准确的方法来提供计算方法的临床水平性，这是我们的第一个动机。作为第二个动机，我们打算提供一个基于深度学习的模型，可以同时检测和分类两种脑部疾病，肿瘤和缺血性中风，这是迈向通用人工智能的一步。对不同的疾病使用两种不同的模型需要更多的时间和空间，因为两个模型都需要单独加载和运行。使用集成模型可以优化资源利用。

一、综述

这篇文章列举了检测脑癌、中风两种疾病的相关论文，并进行了讨论。基本上还是使用CNN和Unt的方法结构。值得一看。

讨论如下：

[14]中提出的全局阈值方法显示出有希望的结果，精度范围为0.96至1.00。四步法有效地去除融合图像中的噪声并分割肿瘤区域。该方法依赖于简单的全局阈值分割方法，该方法可能并非适用于所有病例，并且可能无法捕获肿瘤区域的复杂性。根据我们的说法，模型在给定数据集上的完美性能显示了模型过度拟合，这需要在生产环境中的方法重现和适应中加以考虑。该模型仅在有限数量的数据集上进行测试，因此可能无法很好地推广到其他数据集。该研究没有将所提出的方法的性能与其他最先进的方法进行比较，因此难以确定其相对性能。与其他基于神经网络的方法一样，这种方法也不能提供对模型可解释性的任何见解，这使得理解其内部工作原理具有挑战性。该方法可以通过结合更先进的分割技术（如活动轮廓模型、水平集方法或区域生长）来改进。可以在更大且多样化的数据集上训练和测试该模型，以实现更好的泛化。

[15] 中的深度神经网络使用 MRI 图像使用 7 层 DNN 对肿瘤进行分割和分类。该方法有效地将输入MR图像划分为小块，用作网络的输入。但是，在这种方法中，补丁的大小通常与模型性能成反比。模型仅在每个数据集上单独训练和测试，这可能会限制其泛化性能。该模型可能不适合与其他成像模式一起使用，因为它是在MR图像上专门训练的。此模型的其他限制包括可解释性和缺乏性能比较。可以在更大、更多样化的数据集上训练模型，以实现更好的泛化。该模型可以适应其他成像方式，例如计算机断层扫描（CT）或正电子发射断层扫描（PET）扫描。基于[16]中堆叠稀疏自编码器的工作首先增强了训练图像的边界。种子生长算法有效地分割图像，使模型更容易对肿瘤区域进行分类。可解释性和概括性是这项工作的主要局限性。

[17]中的工作没有解决BRATS数据集中存在的类不平衡问题。类似的问题，即不平衡的class、可解释性和概括性在[19]，[20]，[40]中也发现了。虽然这些研究提供了有希望的结果，但这些工作存在一些普遍的局限性，如果加以解决，可以提高性能。基于神经网络的方法的可解释性和解释在所有作品中也仍然是一个未解决的方面。

此外，一些研究使用单个或几个评估指标，通过有限的方面来查看模型。可以使用多个评估指标来提供更深入的模型性能视图。此类指标很少有准确性、精度、召回率、F-1 分数、模型变异性、并集交叉点 （IoU）、广义 IoU、距离 IoU 和完全 IoU。最后，整合更多样化和更大的数据集可以进一步提高脑肿瘤分割和分类模型的准确性和鲁棒性。

用于缺血性中风病变和WMH分割的DRANet[21]在卒中检测和分割方面表现出良好的性能。[22]中使用了两个模型：LeNet用于中风预测，SegNet用于中风分割。这两种工作都有两个明显的局限性，包括模型的学习多样性有限，以及由于数据集规模小而导致的泛化有限。图像的预处理可以提高模型性能，但在[47]中没有提到。在[23]中，研究人员使用迁移学习进行中风检测和分割。研究表明，像AlexNet，Inception-V3和ResNet-101这样的模型在医学图像上也可以表现良好。这项工作的主要限制是使用小数据集。类似地[35]，[36]也使用迁移学习进行分割和分类任务，从而抑制相同的限制。作者报告了使用神经网络的良好结果[39]。使用解剖学和患者病史数据可以提高模型的性能。使用[19]中给出的神经网络和疾病图像的邻域感知表示（NAGNN）模型识别COVID-34报告了开源和闭源数据集的模型性能，由于闭源数据集不可用，这些数据集难以重现。在不同的计算机视觉任务中使用注意力机制有利于提高模型性能。变压器 [45] 的应用在分段和分类任务中也显示出良好的性能。

二、数据集

文章合并了两个数据集：

将BRATS 2015挑战赛和ISLES 2015挑战赛的数据集结合起来，用于疾病（即肿瘤和脑血管）的分类和分割任务。通过单一模态生成的图像带来的挑战有限，但是当使用具有不同设置的多模态图像时，由于重叠的特征、图像捕获机器的配置和机器规格都不同，挑战程度会增加。当我们结合这两个数据集时，数据集中引入了多维变异性，其中包括模态变异、机器配置变异、疾病变异和分辨率变异性。因此我们必须将大尺寸图像缩小到小尺寸，反之相反，在这种情况下，数据集的分辨率会受到干扰。同样，这种可变性具有双重性质，即空间和光谱。

两个选择的数据集都有不同大小的图像，而设计的分类和分割模型采用固定大小的输入图像。解决此问题有两种可能性：填充和调整大小。填充包括添加其他列和行以使图像大小相同。调整图像大小可能会引入像素强度的变化，并且相关的真实值标签也可能发生变化。为了保持图像信息完整，我们对小尺寸图像使用了零填充，使它们在空间维度上与 BRATS 2015 图像保持一致。光谱维度保持原始状态，因为3D图像被转换为2D图像，并且模型输入是分批给出的相同大小的，这对网络训练没有影响。

数据预处理略去不谈。

三、网络、训练、结果

 

 

总结

整体来看，方法简单常见，文章的主要贡献仅是合并数据集，进行多任务预测。（是不是有种我上我也行的冲动，科研热情又被点燃了！）