创建日期: 2025-04-5 20:37 PM |
影像学杂志 2024, 10(12), 322;https://doi.org/10.3390/jimaging10120322https://doi.org/10.3390/jimaging10120322
收到意见书: 2024 年 9 月 30 日 / 修订日期:2024 年 10 月 21 日 / 录用日期: 2024-10-29 / 出版日期:2024 年 12 月 13 日
摘要
随着技术的进步,健康科学和人工智能 (AI) 的融合取得了显着进步。现代卫生系统旨在简化患者诊断。然而,挑战在于为患者和医生提供基于 AI 的预防措施,以实现更准确的风险评估。拟议的医疗保健系统旨在将患者、医生、实验室、药房和管理人员的用例及其主要功能集成到一个平台上。拟议的框架还可以处理显微图像、CT 扫描、X 射线和 MRI 来对恶性肿瘤进行分类,并为医生提供一套用于患者风险评估的 AI 预防措施。拟议的框架结合了各种 DCNN 模型,用于识别人体中不同形式的肿瘤和骨折,即大脑、骨骼、肺、肾脏和皮肤,并在 Fined-Tuned Large Language Model (LLM) 的帮助下生成预防措施,即生成式预训练转换器 4 (GPT-4)。有了足够的训练数据,DCNN 就可以学习具有高度代表性的、数据驱动的分层图像特征。选择 GPT-4 模型来生成预防措施,因为它的解释、推理、记忆和先前医学评估和研究的准确性。分类模型通过分类报告(即召回率、精度、F1 分数、支持、准确性以及宏观和加权平均值)和混淆矩阵进行评估,与传统方案相比,它们显示出稳健的性能。
关键词:
卷积神经网络;疾病识别;医疗保健应用程序;图像处理;大型语言模型 (LLM);恶性肿瘤分类
1. 引言
在过去的几十年里,医疗保健已经从一个古色古香的行业发展成为一个价值数十亿美元的市场。在过去的几年里,数据驱动的决策已经在多个领域实施,如医疗保健、字符识别和水资源 [1,2,3]。随着医疗保健 IT 的快速发展,对医疗数据的质量保证、融资、收集和存储的需求也越来越复杂。在过去的 50 年里,人们遵循先进的工具和策略来收集和存储医疗数据,以跟上现代医疗保健系统的变化和发展。这些重大进步导致现代计算机技术成为医疗保健系统不可或缺的一部分。
医疗保健系统正在经历从 E-health 到 U-health 的持续过渡,其特点是智能医疗保健和其他与技术进步相关的研究工作的出现 [4,5,6]。电子健康是指一种医疗服务,它使用信息技术 (IT) 连接计算机服务器和医疗机构,以改善医疗信息和健康的传递 [7]。另一方面,U-health 平台使用 IT 技术改进医疗系统,为医疗机构、个人和公司等消费者提供医疗和健康相关信息、知识、产品和服务 [8]。此外,它还允许消费者随时随地查看他们的医疗记录和健康状况。智慧医疗是指将医疗健康相关服务与 IT 整合,提供与个人健康和医疗保健相关的健康相关信息、系统、设备和平台 [9]。
尽管医生是医务人员,但在为各自的患者编写个性化健康处方或诊断疾病时仍然存在人为错误的风险和边际。为了理解这个误差幅度,提出了一个框架,允许医生使用 AI 评估模块从实验室调查患者的医疗报告。拟议的框架旨在通过检查医学图像并为特定疾病提供个性化的预防措施来有效地对疾病进行分类。这使医生能够更好地分析患者的健康状况,从而最大限度地减少人为误差。
相应的框架提出了一个用户友好的 U-health 平台,允许患者和医生跟踪患者的病史、相互交流并预约医生。拟议的框架允许患者分析不同医生的个人资料,与药房联系,并在线支付,从而消除患者和医生之间的沟通桥梁,并改善医疗保健系统。该研究旨在通过将医院、实验室和药房整合到一个平台上来提出一种改善医疗保健管理的解决方案,通过最先进的人工智能医疗环境提供全面的医疗保健解决方案。拟议的框架通过识别人体中的多种恶性肿瘤和骨折,利用人工智能进行患者风险评估。AI 模块利用 CT 扫描图像来识别肺癌和肾癌,使用 MR 图像识别脑肿瘤,使用 X 射线图像识别骨折类型,使用显微图像识别皮肤癌。拟议的 U-health 平台还有助于医生更准确地诊断和及时治疗患者。相应的框架允许患者和医生跟踪病史,最大限度地减少沟通差距,并向消费者提供与健康相关的信息、知识和其他服务。
拟议的研究分为不同的部分。第 2 节介绍了提出的类似框架和技术。第 3 节解释了 MediScan 架构,而第 4 节涵盖了研究中使用的 AI 模块。第 5 节解释了模型评估器,而第 6 节讨论了结果并将其与现有模型进行比较。第 7 节显示了拟议框架的结论和未来工作。
2. 文献综述
由于人口增长,医疗保健系统正承受着越来越大的压力,因此患者数量增加。因此,通过将 IT 创新集成到医疗保健基础设施中来建立智能医疗保健系统至关重要。医学图像处理技术对于早期诊断和治疗期间的疾病监测至关重要。拟议的框架集成了不同的医学成像 AI 模型,用于从不同的成像模式(如 CT 扫描、X 射线、显微图像和 MRI)中识别疾病。
由于该疾病的异质性和侵袭性,及时的肺癌诊断和治疗对于提高 5 年生存率至关重要 [10]。最近,为实现 DL 方法对肺癌诊断的诊断准确性进行了系统的荟萃分析和评价,结果表明,这些方法的合并敏感性和特异性分别为 93% 和 68% [11]。研究还表明,深度学习模型也可用于诊断骨折。2018 年,一项研究提议利用深度 CNN 模型从腕部 X 线平片中检测骨折 [12]。多项研究也被用于脑肿瘤的分类。在外科手术前分析基于 MRI 的脑部图像至关重要,推断信息有助于节省时间和减轻疼痛。2020 年,在不同的 BraTS 数据集上使用 VGG-16 和 VGG-19 进行了一项多模态脑肿瘤分类研究 [13]。在人类中,皮肤癌被认为是最致命的疾病之一。黑色素瘤和痣病变具有高度相似性,因此医生通常会花费大量时间检查他们的样本。数据驱动的方法可以帮助医生更有效地对这些病变进行分类。
2023 年,SkinLesNet 问世,这是一个多层深度 CNN 模型,用于使用智能手机图像数据集对包括黑色素瘤在内的三种类型的皮肤病变进行分类 [14]。肾肿瘤也被认为是我们社会中最普遍的疾病之一。它是全球男性和女性中最常见的七种肿瘤类型之一。早期发现肾癌对于降低死亡率和克服肿瘤具有重要意义。与传统诊断相比,人工智能可以节省诊断时间、降低成本、帮助提高测试准确性并减少医生的工作量。2022 年,提出了一项研究,通过采用 2D CNN-6 模型通过 2D CT 扫描图像对人体肾肿瘤进行分类,该模型性能稳定,准确率达到 97% [15]。
表 1 全面概述了过去用于通过医学图像检测人类不同部位恶性肿瘤的基于 AI 的技术。这些研究旨在改善医疗保健行业。尽管过去的研究结果表明人工智能在医学成像中的潜力,但仍有许多研究挑战有待解决 [11,12,13,14]。
Reference | Year | Damage Area | Imaging | Method | Dataset | Results |
---|---|---|---|---|---|---|
[16] | 2017 | wrist, hand, and ankle Fracture | X-ray and MRI | BVLC Reference CaffeNet network/VGG CNN | Danderyd’s Hospital | Accuracy = 0.83 |
[17] | 2017 | Skin lesions | Microscopic Images | CNN | 129,450 clinical images | AUC = 91% |
[18] | 2018 | vertebra fracture | CT scan | D-CNN | 10,546 sagittal view 2D images from 1432 CT scans | Accuracy = 89.2% |
[19] | 2019 | Lung Nodule | CT scans | Ensemble learner of DCNN model | LIDC-IDRI | Accuracy = 84.0% |
[20] | 2019 | Diaphyseal Femur Fracture | X-ray | CNN | 175 real-patients with abnormal and normal circumstances | Accuracy = 90.7% |
[21] | 2019 | Brain Tumor | MRI | CNN | Figshare | Accuracy = 84.19% |
[22] | 2019 | Brain Tumor | MRI | noise removal, edge detection, and contrast enhancement with SVM | Figshare | Accuracy = 86% |
[23] | 2019 | Renal Cancer | four-phasic CECT | Inception | 128 ccRCC & 51 RO | Accuracy = 74.4% |
[24] | 2019 | Skin lesions | Microscopic Images | Image segmentation with CNN | ISIC 2017 | Accuracy = 0.74 |
[25] | 2020 | Lung Nodule | CT scans | TsDN | LIDC-IDRI | Sensitivity = 88.5% |
[26] | 2020 | Femoral neck Fracture | Radiographic images | CNN | calcaneus CT images | Accuracy = 0.793 |
[27] | 2020 | Renal Cancer | CT scans | Inception-v3 | 32 benign and 136 malignant patients data | Accuracy = 88% |
[28] | 2020 | Brain Tumor | MRI | SVM | 3 datasets | Accuracy = 90.27% |
[29] | 2021 | Lung Nodule | CT scans | CNN | JSRT | Accuracy = 86.67% |
[30] | 2021 | Renal Cancer | MRI: T2WI T1WI | AlexNET | 203 ccRCC & 40 RO | Accuracy = 91% |
[31] | 2021 | Lung Nodule | CT scans | Improved Faster R-CNN and transfer learning | Heilongjiang Provincial Hospital | Accuracy = 89.7% |
[32] | 2021 | Brain Tumor | MRI | Hybrid deep learning model | ISLES2015 and BRATS2015 | Accuracy = 96% |
[33] | 2021 | Renal Cancer | MRI: T2WI | ResNet | 77 ccRCC & 42 pRCC & 46 chRCC & 34 AML | Accuracy = 60.4% |
[34] | 2022 | Lung Nodule | CT scans | Machine learning | LNDb | Accuracy = 94% |
[35] | 2022 | Mandibular bone fracture | CT scans | CNN | 686 patients with mandibular fractures | Accuracy = 90% |
[36] | 2022 | Skin tumor | Microscopic Images | CNN | ISIC Data Archive | Accuracy = 86.65% |
[37] | 2023 | Brain Tumor | MRI | LSTM-CNN | limited Dataset of 253 MR images from Kaggle | Accuracy = 95.54 |
[38] | 2023 | Skin Carcinoma | Microscopic Images | XG-boost | PH2 dataset | Accuracy = 94% |
[39] | 2023 | Renal Cancer | CT scans | Inception-ResNet𝑉2V2 | US-based hospital and patients of the MIDOR dataset | AUC = 0.918 |
[40] | 2023 | Skin lesions | Microscopic Images | Densenet169 CNN | HAM10000 and ISIC | Accuracy = 91.2% |
3. 拟议的 AI 支持 U-Health 框架
3.1. 系统建模
由于其健壮、可扩展和安全的架构,Django 框架对医疗保健系统的发展非常有益。Django 提供了许多至关重要的功能,这些功能在保护和管理医疗保健数据方面发挥着关键作用。在 Django 数据库中,数据检索通过对象关系映射 (ORM) 进行。因此,ORM 用于检索患者记录、实验室结果和药物清单。由于 Django 的模块化设计,它可以集成不同的组件,如基于 AI 的医疗工具、实验室仪表板、医生仪表板以及患者和药房仪表板,如图 1 所示。
图 1.系统体系结构的图形方案。
在我们的系统中,医生可以通过创建个人资料来注册自己。然后他们将等待医院确认他们的账户验证。在医院批准他们属于该医院后,医生将被允许开始他们的工作。当患者与医生预约并讨论他的情况时,医生会给患者开一个测试,该测试将自动发送给实验室和患者。实验室控制面板包含与医生和患者关联的测试列表。因为在测试提交后,双方都可以查看测试报告。
Django 应用程序由于其可靠性而主要关注安全性,尤其是在医疗保健行业。保护患者的敏感数据非常重要,这是通过内置的安全功能来实现的,用于 SQL 注入预防、跨站点脚本预防和跨站点请求伪造保护。由于 Django 符合 GDPR 和 HIPAA 标准,它保证系统遵循严格的监管标准,这些标准是保持患者信心所必需的。Django 广泛的管理界面为后端和医疗保健管理提供了强大的管理工具,他们可以根据自己的要求修改管理界面,从而实现高效的用户控制和报告功能。所提出的系统建模涵盖的子技术如表 2 所示。
Table 2. Technological aspects covered by the proposed tools and techniques.
System Aspect | Tools and Techniques |
---|---|
Data Retrieval | ORM |
Model Deployment | Deploy AI models using .h5 file format |
Web Server Communication | WSGI |
AI-Driven Insights | Integrate AI assessment tool on dashboard |
Database Management | SQL |
Data Protection | GDPR Compliance |
User Authentication | Django Auth |
Backend Framework | Django |
Security Features | Built-in security |
Administrative Interface | Admin Interface |
3.1.1. 患者功能
3.1.2. 医生功能
3.1.3. 实验室
3.1.4. 药房
3.1.5. AI 评估模块
4. 建议的 AI 模块架构
4.1. 骨折分类
Table 3. Hyper-parameter configuration of the bone fracture detection model.
Hyper-Parameters | Optimized Values |
---|---|
Activation Function | SoftMax |
Loss | Categorical Cross-entropy |
Learning Rate | 0.0005 |
Metric | accuracy |
Shuffle | True |
Batch Size | 32 |
epochs | 10 |
Verbose | 0 |
图 3 展示了所提出的卷积神经网络(CNN)模型的各层架构。输入层的形状为 256×256,带有三个颜色通道(RGB)。该架构由四个卷积层、批量归一化、带泄露修正线性单元(Leaky ReLU)激活函数以及随机失活(dropout)正则化组成。带泄露修正线性单元(Leaky ReLU)是修正线性单元(ReLU)函数的一种变体,当输入为负数时,它允许存在极小的非零梯度,其数学表达式为:
卷积层分别有 32、64、128 和 256 个过滤器。内核大小为 3 × 3,而步幅 2 用于缩减采样,并应用填充以保持空间维度。卷积层输出大小的数学表达式为:
其中 i、f、p 和 s 表示输入大小、过滤器大小、填充大小和步幅大小。
其中是输入向量 z 的第i 个值K是该向量中元素的数量。
4.2. 肺结节检测
该数据集是通过收集相应类型癌症的多个肺癌图像组成的。累积的数据集包括 995 张不同患者的 CT 扫描图像。图像以 jpg 或 png 格式拍摄,而不是 dcm 格式。数据由四类表示胸癌类型组成,即腺癌、大细胞癌和鳞状细胞癌以及正常肺结节。首先对图像进行处理并转换为 float 值。数据增强技术,即旋转范围、宽度偏移范围、高度偏移范围、剪切范围、缩放范围以及水平和垂直翻转,暗示以增加其多样性,以帮助模型的泛化。ResNet50 模型在数据集的训练期间应用。神经网络架构的超参数配置最适合用于增强模型的性能。表 4 中列出了超参数。
Table 4. Hyper-parameter configuration of the lung cancer detection model.
Hyper-Parameters | Optimized Values |
---|---|
Activation Function | SoftMax |
Loss | Categorical Cross-entropy |
Optimizer | adam |
Patience | 5 |
Metric | accuracy |
Weights | imagenet |
epochs | 100 |
Verbose | 1 |
图 4 显示了拟议的模型,该模型将预训练的 ResNet50 CNN 与定制的全连接层混合在一起,用于肺癌分类。最初,在 ResNet50 模型的设置中,排除其顶层,并保留 ImageNet 预训练权重及其输入形状。ResNet50 模型中的所有层都是不可训练的,以便在后续训练阶段保留其学习的特征。在此之后,隐含了一个 sequential model 在 ResNet50 base 上附加额外的层。这些层包括用于激活标准化的 BatchNormalization、用于下采样特征图的 MaxPooling2D 以及用于准备数据以输入到密集层以促进特征转换和分类的 Flatten 层。这些自定义层包括不同数量的神经元、ReLU 函数和 dropout 层,这些层被战略性地插入,以通过在训练期间随机丢弃连接来缓解过拟合。ReLU 函数的数学表达式为:
密集层使用 softmax 生成多类分类。该架构有效地结合了 ResNet50 强大的特征提取功能与自定义分类层的灵活性,从而为医学图像分类提供了强大的框架。
4.3. 脑肿瘤分类
数据是通过合并来自 figshare、SARTAJ 和 Br35H 数据集的数据图像创建的。研究中使用的相应数据包含 7023 张人脑 MR 的 MR 图像,分为四类,即神经胶质瘤、脑膜瘤、垂体和无肿瘤。最初处理数据时,将图像大小调整为 (224, 224, 3),表示图像的形状为 (224, 224) 具有三个颜色通道 (RGB)。对于数据增强,数据生成器会生成批量图像数据,以在训练和验证期间通过数据混组来增强模型泛化。批处理大小设置为 16。
ResNet50 模型在模型训练期间对提供的数据进行应用。为了提高模型在给定 MR 图像数据上的性能,通过试错技术调整了超参数(例如神经元、层和其他模型超参数)。这些超参数如表 5 所示。
Table 5. Hyper-parameter configuration of the brain tumor detection model.
Hyper-Parameters | Optimized Values |
---|---|
Activation Function | SoftMax |
Loss | Categorical Cross-entropy |
Batch size | 16 |
Learning rate | 0.001 |
Optimizer | adamax |
Weight | imagenet |
Metric | accuracy |
Pooling | Maximum |
Epochs | 30 |
Shuffle | False |
Verbose | 1 |
所提出的模型基于卷积神经网络 (CNN) 架构,专为通过 MR 图像对脑肿瘤进行分类而量身定制,如图 5 所示。它初始化一个在 ImageNet 数据上预先训练的 ResNet50 模型,不包括其全连接层,并将其配置为接受使用 RGB 通道调整为 224 × 224 像素的输入图像。网络的自定义 head 由层组成,用于针对特定分类任务微调模型。应用批量归一化来归一化激活,然后是带有 ReLU 激活和正则化项的密集层,有助于模型泛化。使用的 dropout 层的概率范围为 0.45 到 0.5。最后,具有 softmax 激活的密集输出层生成与数据集中的类数量相对应的类概率。该模型使用学习率为 0.001 的 Adamax 优化器,使用的损失函数是分类交叉熵 (CCE):
4.4. 皮肤病变分类
Hyper-Parameters | Optimized Values |
---|---|
Activation Function | SoftMax |
Loss | binary cross-entropy |
batch size | 64 |
Learning rate | 1 ×10−5×10−5 |
Optimizer | adam |
weight | none |
Metric | accuracy |
pooling | average |
epochs | 50 |
Verbose | 2 |
全局平均池化用于空间维度缩减。该模型适用于具有两个输出类的二元分类。学习率为 1 的 Adam 优化器×10−5×10−5用于优化模型权重。二进制交叉熵 (BCE) 用作损失函数,
4.5. 肾恶性肿瘤分类
这些数据用于拟议的结构,该结构由 PACS 管理,具有不同类别的肾肿瘤、囊肿、正常或结石发现 [41]。冠状和轴向切口均通过腹部和尿路造影的对比和非对比研究选择。每个放射学结果都是从 Dicom 研究中精心挑选的,一次一个,并创建了一批 Dicom 图像。从 Dicom 图像中提取患者数据和元数据,然后将其转换为 jpg 格式。该数据集由 12,446 张独特的 CT 扫描图像组成,分布在四个类别中,其中囊肿类包含 3709 张,正常类有 5077 张,结石类有 1377 张,肿瘤类有 2283 张图像。数据以 90:10 的比例划分用于训练和测试。然后,通过将图像的像素值除以 255 来标准化图像的像素值,得到 [0, 1] 之间的值以标准化输入数据。此外,还使用 TensorFlow 的数据管道功能对数据集进行缓存和预取,以优化数据加载性能并加速训练过程。缓存允许在第一次迭代后将数据集存储在内存或磁盘中,从而减少后续 epoch 的数据加载时间。预取通过将数据预处理与模型训练重叠来进一步提高效率,从而实现更顺畅、更无缝的训练过程。
对于训练,在相应的数据集上实施了 CNN 模型,以有效地识别类别。严格执行超参数调整以优化模型性能。所提出的 CNN 模型的超参数如表 7 所示。
Table 7. Hyper-parameter configuration of the renal malignancy detection model.
Hyper-Parameters | Optimized Values |
---|---|
Activation Function | SoftMax |
Loss | Sparse Categorical Cross-entropy |
batch size | 351 |
Optimizer | adam |
Metric | accuracy |
epochs | 15 |
Pooling | Max Pooling |
图 7 中描述的模型架构基于专为肾脏恶性肿瘤分类设计的 CNN 模型。它由一个卷积层的输入组成,卷积层具有 32 个大小为 (3, 3) 的内核和 ReLU。输入图像的尺寸应为150×150 元150×150像素和三个颜色通道 (RGB)。然后,池大小为 (2, 2) 的最大池化层提取主要特征并降低计算复杂性。无填充的卷积层输出大小的数学表达式,如等式 (2) 所示。
4.6. GPT-4 注意事项
5. 模型性能评估设置
5.1. 准确性
5.2. 混淆矩阵
Symbols | Metrics |
---|---|
𝐶𝑐Cc | Classified Correctly |
𝐶𝑖𝑐Cic | Classified Incorrectly |
𝐹𝑁FN | False Negative |
𝐹𝑃FP | False Positive |
𝑇𝑁TN | True Negative |
𝑇𝑃TP | True Positive |
5.3. 统计指标
5.3.1. 精度
此评估指标用于衡量正预测类的准确性。模型的高精度通常表示预测的正类更准确。数学公式如等式 (7) [44] 所示]
5.3.3. F1 分数

5.3.5. 准确性

5.3.6. 宏观平均和加权平均
Macro-average 是平均所有类的平均量度。或者,加权平均为每个类别的贡献分配权重。
6. 结果与讨论
所提出的模型的评估分三个阶段进行,即通过 (i) 准确性、(ii) 混淆矩阵和 (iii) 分类报告。将每个模型的结果与在同一数据集上训练的其他最先进模型和其他传统模型进行比较。
在图 9 中,通过比较医学图像的预测和实际测试标签,通过混淆矩阵评估所提出的 CNN 模型。该模型通过统计参数进行评估,如表 9 中的分类报告所示,它显示的结果比用于识别骨折类型的其他模型(如 MLP)更稳健(准确率:65%)。如图 10 所示,所提出的 CNN 模型准确率为 95%,优于过去用于骨折识别的几种模型,如 BVLC 参考 CaffeNet 网络/VGG CNN(准确率:83%)[16]、D-CNN(准确率:89.2%)[18]、CNN(准确率:90.7%)[20]、CNN(准确率:79.3%)[26] 和 CNN(准确率:90%)[35]。
图 9.骨折识别的混淆矩阵的图形说明;肺肿瘤识别;脑肿瘤检测;皮肤病变识别;和肾恶性肿瘤识别 AI 模型。
图 10.骨折识别精度图的图形说明;肺肿瘤识别;脑肿瘤检测;皮肤病变识别;和肾恶性肿瘤识别 AI 模型。
Table 9. Proposed CNN model’s classification report for bone fracture.
Precision | Recall | F1 Score | Support | |
---|---|---|---|---|
Spiral Fracture | 1.00 | 1.00 | 1.00 | 7 |
Comminuted fracture | 0.93 | 0.93 | 0.93 | 15 |
Avulsion fracture | 0.79 | 1.00 | 0.88 | 11 |
Fracture Dislocation | 1.00 | 1.00 | 1.00 | 17 |
Hairline Fracture | 1.00 | 1.00 | 1.00 | 10 |
Greenstick fracture | 1.00 | 0.00 | 0.95 | 10 |
Impacted fracture | 0.88 | 0.88 | 0.82 | 8 |
Oblique fracture | 1.00 | 0.90 | 0.95 | 10 |
Longitudinal fracture | 1.00 | 0.92 | 0.96 | 12 |
Pathological fracture | 1.00 | 0.92 | 0.96 | 12 |
accuracy | 0.95 | 112 | ||
macro avg | 0.95 | 0.94 | 0.94 | 112 |
weighted avg | 0.95 | 0.95 | 0.95 | 112 |
在表 9 中,所提出的 CNN 模型总体上表现出高性能,准确率为 95%。宏观平均 F1 分数为 0.94,表明多个类别的准确率和召回率之间取得了很好的平衡。但是,“Greenstick fracture” 类的召回率值 (0.00) 存在不平衡,这表明尽管具有完美的精度,但模型仍难以正确识别这种类型的裂缝。然而,“Spiral Fracture(螺旋骨折)”、“Fracture Diszézéné”(骨折位臼)和 “Hairline Fracture”(发际线骨折)类别在所有统计指标中都取得了满分。“撕脱骨折”类的精确率较低 (0.79),但用 1.00 的召回率进行补偿,这表明该模型能够识别所有阳性个案,尽管它对一些负面个案进行了错误分类。同时,“Comminuted fracture” 类在所有统计指标上的平衡性能为 0.93。
图 9 显示了通过混淆矩阵进行的拟议 ResNet50 CNN 模型评估,并比较了肺肿瘤 CT 扫描图像的预测和实际测试标签。还评估了用于识别肺癌的透视模型,例如 VGG-16(准确率:75%)、VGG-19(准确率:78%)和 FFNN(准确率:52%),其中提出的 ResNet50 CNN 模型表现出色,准确率为 90%,如图 10 所示。所提出的模型也优于文献中的几种人工智能模型,如 DCNN 模型的集合学习器(准确率:84%)[19]、TsDN(灵敏度:88.5%)[25]、CNN(准确率:86.67%)[29]和更快的 R-CNN 和迁移学习(准确率:89.7%)[31],它们用于通过不同类型的医学成像来识别肺癌,而总结提出的模型的统计评估如表 10 所示。
Table 10. Proposed ResNet50 model’s classification report for lung cancer.
Precision | Recall | F1 Score | Support | |
---|---|---|---|---|
Adenocarcinoma | 0.71 | 0.95 | 0.81 | 120 |
Large Cell Carcinoma | 0.83 | 0.67 | 0.74 | 51 |
No Lung Tumor | 1.00 | 0.98 | 0.99 | 54 |
Squamous Cell Carcinoma | 0.98 | 0.67 | 0.79 | 90 |
accuracy | 0.90 | 315 | ||
macro avg | 0.88 | 0.82 | 0.83 | 315 |
weighted avg | 0.86 | 0.83 | 0.83 | 315 |
在表 10 中,所提出的 ResNet50 模型显示出强大的整体性能,准确率为 90%。该模型可以非常好地识别“无肺肿瘤”类别,精度为 1.00,召回值接近完美 (0.98),表明该模型很少会错误分类非肿瘤病例。“Adenocarcinoma” 类的召回率很高 (0.95),这决定了模型检测到了大多数相应的类案例,但它的精确率值较低 (0.71),表明存在一些误报。另一方面,“大细胞癌”和“鳞状细胞癌”类别的召回分数都较低(各 0.67),这表明该模型难以识别这些肿瘤的所有实例,但精确率值相对较高(即分别为 0.83 和 0.98)。
在图 9 中,通过比较测试 MR 图像中的实际标签和预测标签,通过混淆矩阵评估所提出的 ResNet50 CNN 模型。如表 11 中的分类报告所示,还通过统计参数评估了所提出的模型,并与 VGG-16 (准确率:51%) 进行了比较以识别脑肿瘤,其中它显示了稳健的结果,准确率为 98%,如图 10 所示。所提出的 ResNet50 CNN 模型也优于文献中的其他模型,即 SVM(准确率:90.27%)[28]、CNN(准确率:84.19%)[21]、SVM(准确率:86%)[22]、混合深度学习模型(准确率:96%)[32] 和 LSTM-CNN(准确率:95.54%)[37] 用于识别脑肿瘤。
Table 11. Proposed ResNet50 model’s classification report for brain tumor.
Precision | Recall | F1 Score | Support | |
---|---|---|---|---|
glioma | 0.99 | 0.98 | 0.98 | 149 |
meningioma | 0.97 | 0.94 | 0.95 | 143 |
no Tumor | 0.99 | 1.00 | 0.99 | 200 |
pituitary | 0.98 | 0.99 | 0.98 | 164 |
accuracy | 0.98 | 656 | ||
macro avg | 0.98 | 0.98 | 0.98 | 656 |
weighted avg | 0.98 | 0.98 | 0.98 | 656 |
在表 11 中,提出的 ResNet50 模型在 656 个样本中显示出稳健的性能,准确率为 98%。该模型为所有四种肿瘤类别生成了高精度、召回率和 F1 评分值,这表明该模型在识别正确的肿瘤类别方面既准确又有效。该模型还取得了近乎完美的结果,在“无肿瘤”类别中召回了 1.00,这确保了不会预测到假阴性。同时,“神经胶质瘤”和“垂体”类别的 F1 评分为 0.98,显示出非常平衡的精确率和召回率值。然而,“脑膜瘤”类别的召回值略低 (0.94),但仍保持 0.95 的高 F1 分数。
图 9 通过比较皮肤病变测试显微图像中的实际和预测标签,通过混淆矩阵说明了拟议的 ResNet50 CNN 模型评估。拟议的模型还通过表 12 所示的统计参数进行评估,并与 CNN(准确率:70%)在识别皮肤癌方面进行了比较,它显示出卓越的结果,准确率为 97%,如图 10 所示。所提出的 ResNet50 CNN 模型优于其他过去的模型,也可用于识别皮肤癌图像,即 CNN(AUC:91%)[17]、CNN(准确率:74%)[24]、CNN(准确率:86.65%)[36]、XG-boost(准确率:94%)[38] 和 Densenet169 CNN(准确率:91.2%)[40]。
Table 12. Proposed ResNet50 model’s classification report for skin lesions.
Precision | Recall | F1 Score | Support | |
---|---|---|---|---|
Benign | 0.83 | 0.88 | 0.85 | 360 |
Malignant | 0.84 | 0.78 | 0.81 | 300 |
micro avg | 0.83 | 0.83 | 0.83 | 660 |
macro avg | 0.83 | 0.83 | 0.83 | 660 |
weighted avg | 0.83 | 0.83 | 0.83 | 660 |
Table 13. Proposed CNN model’s classification report for renal malignancy.
Precision | Recall | F1 Score | Support | |
---|---|---|---|---|
Cyst | 0.99 | 0.99 | 0.99 | 737 |
Normal | 0.99 | 0.99 | 0.99 | 1001 |
Stone | 0.99 | 0.99 | 0.99 | 280 |
Tumor | 0.99 | 0.99 | 0.99 | 471 |
accuracy | 0.99 | 2489 | ||
macro avg | 0.99 | 0.99 | 0.99 | 2489 |
weighted avg | 0.99 | 0.99 | 0.99 | 2489 |
在表 13 中,所提出的 CNN 模型表现出出色的性能,在所有四个类别中都具有近乎完美的精度、召回率和 F1 分数值为 0.99,总体准确率为 99%。对模型的评估表明,该模型在正确预测“囊肿”、“正常”、“结石”和“肿瘤”类别方面非常有效,而没有任何明显的假阳性或假阴性问题。宏观平均值和加权平均值的一致值进一步证实,无论类分布如何,所提出的模型都表现稳健。
7. 结论
拟议的 U-health 系统旨在通过将患者、医生、实验室、药房和管理人员整合到一个平台上来实现医疗保健的数字化,从而实现患者与医生的互动、实验室报告生成和在线药物购买。该系统的核心是一个基于 AI 的医疗保健组件,它处理 X 射线、CT 扫描、MRI 和显微图像等医学图像以识别疾病或恶性肿瘤,为医生提供 AI 生成的预防措施。它采用多个 DCNN 模型来检测体内的各种肿瘤和骨折(例如,大脑、骨骼、肺、肾脏、皮肤),并使用微调的 GPT-4 生成详细的医学评估。AI 模型通过准确性图、分类报告和混淆矩阵显示出强大的性能,选择 GPT-4 是因为其在医学解释、推理、记忆和准确性方面的卓越能力。
该框架的局限性在于无法整合与医学领域相关的其他疾病(如病理学、心脏病学、血液学等)的 AI 模型,以准确评估和诊断患者的疾病。AI 模块还可以考虑其他类型的医疗数据,例如通用数据以及患者历史和个人数据,以更有效地识别和生成个性化的预防措施,从而帮助医疗专业人员更准确地诊断疾病。
为了将来考虑,该框架可以包括在识别疾病或为患者生成预防措施方面具有更准确结果的模型。拟议的框架还可以通过患者反馈和便利性进行改进,以实现有效诊断并改善拟议的 U-health 平台的用户体验。由于肿瘤的生长会使患者面临巨大风险,因此 AI 模型也可用于通过分析患者最后一次 CT 扫描或 MR 图像来估计患者体内肿瘤的进展。这可以为医生和外科医生提供诊断或手术各自患者体内肿瘤的宝贵见解。
References
- Ahmed, R.; Bibi, M.; Syed, S. Improving Heart Disease Prediction Accuracy Using a Hybrid Machine Learning Approach: A Comparative study of SVM and KNN Algorithms. Int. J. Comput. Inf. Manuf. IJCIM 2023, 3, 49–54. [Google Scholar] [CrossRef]
- Syed, S.; Khan, K.; Khan, M.; Khan, R.U.; Aloraini, A. Recognition of inscribed cursive Pashtu numeral through optimized deep learning. PeerJ Comput. Sci. 2024, 10, e2124. [Google Scholar] [CrossRef] [PubMed]
- Syed, S.; Syed, Z.; Mahmood, P.; Haider, S.; Khan, F.; Syed, M.T.; Syed, S. Application of coupling machine learning techniques and linear Bias scaling for optimizing 10-daily flow simulations, Swat River Basin. Water Pract. Technol. 2023, 18, 1343–1356. [Google Scholar] [CrossRef]
- Baker, S.B.; Xiang, W.; Atkinson, I. Internet of Things for Smart Healthcare: Technologies, Challenges, and Opportunities. IEEE Access 2017, 5, 26521–26544. [Google Scholar] [CrossRef]
- Tian, S.; Yang, W.; Grange, J.M.L.; Wang, P.; Huang, W.; Ye, Z. Smart healthcare: Making medical care more intelligent. Glob. Health J. 2019, 3, 62–65. [Google Scholar] [CrossRef]
- Zhu, H.; Wu, C.K.; Koo, C.H.; Tsang, Y.T.; Liu, Y.; Chi, H.R.; Tsang, K.F. Smart Healthcare in the Era of Internet-of-Things. IEEE Consum. Electron. Mag. 2019, 8, 26–30. [Google Scholar] [CrossRef]
- Rohm, B.W.T.; Rohm, C.E.T., Jr. A vision of the e-healthcare era. Int. J. Healthc. Technol. Manag. 2002, 4, 87. [Google Scholar] [CrossRef]
- Touati, F.; Tabish, R. U-Healthcare System: State-of-the-Art Review and Challenges. J. Med. Syst. 2013, 37, 9949. [Google Scholar] [CrossRef]
- Yin, H.; Akmandor, A.O.; Mosenia, A.; Jha, N.K. Smart Healthcare. Found. Trends® Electron. Des. Autom. 2018, 12, 401–466. [Google Scholar] [CrossRef]
- Chiang, T.-A.; Chen, P.H.; Wu, P.F.; Wang, T.N.; Chang, P.Y.; Ko, A.M.S.; Huang, M.S.; Ko, Y.C. Important prognostic factors for the long-term survival of lung cancer subjects in Taiwan. BMC Cancer 2008, 8, 324. [Google Scholar] [CrossRef]
- Forte, G.C.; Altmayer, S.; Silva, R.F.; Stefani, M.T.; Libermann, L.L.; Cavion, C.C.; Youssef, A.; Forghani, R.; King, J.; Mohamed, T.L.; et al. Deep Learning Algorithms for Diagnosis of Lung Cancer: A Systematic Review and Meta-Analysis. Cancers 2022, 14, 3856. [Google Scholar] [CrossRef] [PubMed]
- Kim, D.H.; MacKinnon, T. Artificial intelligence in fracture detection: Transfer learning from deep convolutional neural networks. Clin. Radiol. 2018, 73, 439–445. [Google Scholar] [CrossRef] [PubMed]
- Khan, M.A.; Ashraf, I.; Alhaisoni, M.; Damaševičius, R.; Scherer, R.; Rehman, A.; Bukhari, S.A.C. Multimodal Brain Tumor Classification Using Deep Learning and Robust Feature Selection: A Machine Learning Application for Radiologists. Diagnostics 2020, 10, 565. [Google Scholar] [CrossRef] [PubMed]
- Azeem, M.; Kiani, K.; Mansouri, T.; Topping, N. SkinLesNet: Classification of Skin Lesions and Detection of Melanoma Cancer Using a Novel Multi-Layer Deep Convolutional Neural Network. Cancers 2023, 16, 108. [Google Scholar] [CrossRef] [PubMed]
- Alzu’bi, D.; Abdullah, M.; Hmeidi, I.; AlAzab, R.; Gharaibeh, M.; El-Heis, M.; Almotairi, K.H.; Forestiero, A.; Hussein, A.M.; Abualigah, L. Kidney Tumor Detection and Classification Based on Deep Learning Approaches: A New Dataset in CT Scans. J. Healthc. Eng. 2022, 22, 3861161. [Google Scholar] [CrossRef]
- Olczak, J.; Fahlberg, N.; Maki, A.; Razavian, A.S.; Jilert, A.; Stark, A.; Sköldenberg, O.; Gordon, M. Artificial intelligence for analyzing orthopedic trauma radiographs: Deep learning algorithms—Are they on par with humans for diagnosing fractures? Acta Orthop. 2017, 88, 581–586. [Google Scholar] [CrossRef]
- Esteva, A.; Kuprel, B.; Novoa, R.A.; Ko, J.; Swetter, S.M.; Blau, H.M.; Thrun, S. Dermatologist-level classification of skin cancer with deep neural networks. Nature 2017, 542, 115–118. [Google Scholar] [CrossRef]
- Tomita, N.; Cheung, Y.Y.; Hassanpour, S. Deep neural networks for automatic detection of osteoporotic vertebral fractures on CT scans. Comput. Biol. Med. 2018, 98, 8–15. [Google Scholar] [CrossRef]
- Zhang, B.; Qi, S.; Monkam, P.; Li, C.; Yang, F.; Yao, Y.D.; Qian, W. Ensemble Learners of Multiple Deep CNNs for Pulmonary Nodules Classification Using CT Images. IEEE Access 2019, 7, 110358–110371. [Google Scholar] [CrossRef]
- Balaji, G.N.; Subashini, T.S.; Madhavi, P.; Bhavani, C.H.; Manikandarajan, A. Computer-Aided Detection and Diagnosis of Diaphyseal Femur Fracture. In Smart Intelligent Computing and Applications; Springer: Singapore, 2020; Volume 159, pp. 549–559. [Google Scholar] [CrossRef]
- Abiwinanda, N.; Hanif, M.; Hesaputra, S.T.; Handayani, A.; Mengko, T.R. Brain Tumor Classification Using Convolutional Neural Network. In World Congress on Medical Physics and Biomedical Engineering 2018; Springer Nature: Singapore, 2019; Volume 68/1, pp. 183–189. [Google Scholar] [CrossRef]
- Tahir, B.; Iqbal, S.; Usman Ghani Khan, M.; Saba, T.; Mehmood, Z.; Anjum, A.; Mahmood, T. Feature enhancement framework for brain tumor segmentation and classification. Microsc. Res. Tech. 2019, 82, 803–811. [Google Scholar] [CrossRef]
- Coy, H.; Hsieh, K.; Wu, W.; Nagarajan, M.B.; Young, J.R.; Douek, M.L.; Brown, M.S.; Scalzo, F.; Raman, S.S. Deep learning and radiomics: The utility of Google TensorFlowTM Inception in classifying clear cell renal cell carcinoma and oncocytoma on multiphasic CT. Abdom. Radiol. 2019, 44, 2009–2020. [Google Scholar] [CrossRef] [PubMed]
- Ottom, M.A. Convolutional Neural Network for Diagnosing Skin Cancer. Int. J. Adv. Comput. Sci. Appl. 2019, 10, 7. [Google Scholar] [CrossRef]
- Zia, M.B.; Zhao, J.J.; Ning, X. Detection and Classification of Lung Nodule in Diagnostic CT: A TsDN method based on Improved 3D-Faster R-CNN and Multi-Scale Multi-Crop Convolutional Neural Network. Int. J. Hybrid. Inf. Technol. 2020, 13, 45–56. [Google Scholar] [CrossRef]
- Pranata, Y.D.; Wang, K.C.; Wang, J.C.; Idram, I.; Lai, J.Y.; Liu, J.W.; Hsieh, I.H. Deep learning and SURF for automated classification and detection of calcaneus fractures in CT images. Comput. Methods Programs Biomed. 2019, 171, 27–37. [Google Scholar] [CrossRef]
- Tanaka, T.; Huang, Y.; Marukawa, Y.; Tsuboi, Y.; Masaoka, Y.; Kojima, K.; Iguchi, T.; Hiraki, T.; Gobara, H.; Yanai, H.; et al. Differentiation of Small (≤4 cm) Renal Masses on Multiphase Contrast-Enhanced CT by Deep Learning. Am. J. Roentgenol. 2020, 214, 605–612. [Google Scholar] [CrossRef]
- Ayadi, W.; Charfi, I.; Elhamzi, W.; Atri, M. Brain tumor classification based on hybrid approach. Vis. Comput. 2022, 38, 107–117. [Google Scholar] [CrossRef]
- Thamilarasi, V.; Roselin, R. Automatic Classification and Accuracy by Deep Learning Using CNN Methods in Lung Chest X-Ray Images. IOP Conf. Ser. Mater. Sci. Eng. 2021, 1055, 012099. [Google Scholar] [CrossRef]
- Nikpanah, M.; Xu, Z.; Jin, D.; Farhadi, F.; Saboury, B.; Ball, M.W.; Gautam, R.; Merino, M.J.; Wood, B.J.; Turkbey, B.; et al. A deep-learning based artificial intelligence (AI) approach for differentiation of clear cell renal cell carcinoma from oncocytoma on multi-phasic MRI. Clin. Imaging 2021, 77, 291–298. [Google Scholar] [CrossRef]
- Li, S.; Liu, D. Automated classification of solitary pulmonary nodules using convolutional neural network based on transfer learning strategy. J. Mech. Med. Biol. 2021, 21, 2140002. [Google Scholar] [CrossRef]
- Kadry, S.; Nam, Y.; Rauf, H.T.; Rajinikanth, V.; Lawal, I.A. Automated Detection of Brain Abnormality using Deep-Learning-Scheme: A Study. In Proceedings of the 2021 Seventh International Conference on Bio Signals, Images, and Instrumentation (ICBSII), Chennai, India, 25–27 March 2021; pp. 1–5. [Google Scholar] [CrossRef]
- Zheng, Y.; Wang, S.; Chen, Y.; Du, H. Deep learning with a convolutional neural network model to differentiate renal parenchymal tumors: A preliminary study. Abdom. Radiol. 2021, 46, 3260–3268. [Google Scholar] [CrossRef]
- Kawathekar, I.D.; Areeckal, A.S. Performance analysis of texture characterization techniques for lung nodule classification. J. Phys. Conf. Ser. 2022, 2161, 012045. [Google Scholar] [CrossRef]
- Wang, X.; Xu, Z.; Tong, Y.; Xia, L.; Jie, B.; Ding, P.; Bai, H.; Zhang, Y.; He, Y. Detection and classification of mandibular fracture on CT scan using deep convolutional neural network. Clin. Oral Investig. 2022, 26, 4593–4601. [Google Scholar] [CrossRef] [PubMed]
- Agarwal, K.; Singh, T. Classification of Skin Cancer Images using Convolutional Neural Networks. arXiv 2022, arXiv:2202.00678. [Google Scholar]
- Syed, S.; Khan, M.; Ahmed, R.; Talha, S.M. Intracranial Tumor Detection using Magnetic Resonance Imaging and Deep Learning. Int. J. Emerg. Multidiscip. Comput. Sci. Artif. Intell. 2023, 2, 1–15. [Google Scholar] [CrossRef]
- Khater, T.; Ansari, S.; Mahmoud, S.; Hussain, A.; Tawfik, H. Skin cancer classification using explainable artificial intelligence on pre-extracted image features. Intell. Syst. Appl. 2023, 20, 200275. [Google Scholar] [CrossRef]
- Klontzas, M.E.; Kalarakis, G.; Koltsakis, E.; Papathomas, T.; Karantanas, A.H.; Tzortzakakis, A. Convolutional neural networks for the differentiation between benign and malignant renal tumors with a multicenter international computed tomography dataset. Insights Imaging 2024, 15, 26. [Google Scholar] [CrossRef]
- Gururaj, H.L.; Manju, N.; Nagarjun, A.; Aradhya, V.N.M.; Flammini, F. DeepSkin: A Deep Learning Approach for Skin Cancer Classification. IEEE Access 2023, 11, 50205–50214. [Google Scholar] [CrossRef]
- Islam, M.N.; Hasan, M.; Hossain, M.K.; Alam, M.G.R.; Uddin, M.Z.; Soylu, A. Vision transformer and explainable transfer learning models for auto detection of kidney cyst, stone and tumor from CT-radiography. Sci. Rep. 2022, 12, 11440. [Google Scholar] [CrossRef]
- Meyer, A.; Riese, J.; Streichert, T. Comparison of the Performance of GPT-3.5 and GPT-4 with That of Medical Students on the Written German Medical Licensing Examination: Observational Study. JMIR Med. Educ. 2024, 10, e50965. [Google Scholar] [CrossRef]
- Singh, P.; Singh, N.; Singh, K.K.; Singh, A. Diagnosing of Disease Using Machine Learning. In Machine Learning and the Internet of Medical Things in Healthcare; Elsevier: Amsterdam, The Netherlands, 2021; pp. 89–111. [Google Scholar] [CrossRef]
- Hicks, S.A.; Strümke, I.; Thambawita, V.; Hammou, M.; Riegler, M.A.; Halvorsen, P.; Parasa, S. On evaluation metrics for medical applications of artificial intelligence. Sci. Rep. 2022, 12, 5979. [Google Scholar] [CrossRef]
8.交流与联系
个人首页文章有联系方式,关注不迷路,谢谢您的阅读,也希望您有所收获!代码采用Python+Django框架复现文章思路。
数据集下载地址:https://prod-dcd-datasets-cache-zipfiles.s3.eu-west-1.amazonaws.com/5kbjrgsncf-3.ziphttps://prod-dcd-datasets-cache-zipfiles.s3.eu-west-1.amazonaws.com/5kbjrgsncf-3.zip