摘要
针对深度学习训练成本高,以及基于磁共振图像(Magnetic Resonance Imaging ,MRI)的脑肿瘤临床诊断需要大量医学常识且极为耗时的问题,本文提出了一种基于迁移学习(Transfer Learning,TL)的卷积神经网络(Convolutional Neural Network,CNN)和磁共振图像的脑肿瘤自动分类诊断方法。该网络以VGG-16加载模型的预训练权重作为前网络,用于增强图像特征提取能力,以基于ResNet改进的CNN网络结构作为后网络,用于对脑肿瘤区域病变进行分类,其中使用批量标准化(Batch Normalization,BN),全局平均池化(Global Average Pooling,GAP)进行优化.实验结果证明,本文方法对脑肿瘤诊断结果较好,准确率达97%,而且大大缩减了训练时间和参数量,有效降低了训练成本。最后,我们将训练好的模型应用于创建一个用户友好的Web应用程序,使医生和患者可以轻松上传脑肿瘤MRI数据并接收相应的数据报告和诊断结果。该应用的实现能够将诊断时间从大约的14天减少到近10-15分钟,减少1000倍,从而有效的减少了医生有限的诊断时间。
问题描述
原发性恶性脑肿瘤是最致命的癌症,该疾病存在许多不同类型。大致可分为:一些脑瘤是非癌性的(良性的),而一些脑瘤是癌性的(恶性的)。磁共振成像(Magnetic Resonance Imaging ,MRI)是一种新兴的方法,可以提高获取患者图像数据的速度和安全性。由于手动提取图像特征时间效率非常低,受操作者经验的限制并且容易发生人为错误(医患),因此使用MRI数据进行可靠且全自动的分类方法对于有效地检测脑癌症是有必要的。
数据集
脑癌数据集总共有253张MRI数据图像,其中98个良性数据,155个恶性数据。数据量非常小。为了实现和解决基于少量的医学图像构建有效的机器学习模型,本文使用迁移学习并进行网络结构的修改以使模型适应我们的数据集。
模型构建
迁移学习模型
使用VGG-16加载模型的来自ImageNet数据库的一百万张图像预训练权重作为前网络。其网络模型结构如图所示。
以基于ResNet改进的CNN网络结构作为后网络,用于对脑肿瘤区域病变进行分类,使用数据增强、数据归一化等方法来优化模型,防止模型过度拟合。其模型结构实现代码如下:
conv = VGG16(input_shape= image_size+[3],weights='imagenet',include_top=False)#加载VGG16模型的预训练权重
conv.output
x = conv.output
x = GlobalAveragePooling2D()(x)
x = residual_module(x, 128)
x = Dense(1024,activation='relu')(x)
x = Dense(1024,activation='relu')(x)
x = Dense(512, activation='relu')(x)
pred = Dense(2,activation='softmax')(x)
model = Model(inputs = conv.input,outputs=pred)
原始卷积神经网络模型
该神经网络具有一组执行卷积操作的层,将图像的区域集合并以提取特征,然后将最后一层转换为概率分布使用softmax函数对患者MRI数据的输出进行分类。其模型结构如图所示。代码略
实验结构分析
卷积神经网络模型:
迁移学习模型:
结果对比:
当比较迁移学习模型和非迁移学习模型结果时,我们发现,迁移学习的深度神经网络可以具有更高的诊断准确度。
应用
通过构建将已训练模型存储为可从前端(用户)访问的端点的Web应用程序,我们可以进一步增强此肿瘤检测系统的可用性。
在医学影像环境中加快基于深度学习的应用程序的部署过程。创建一个用户友好的Web应用程序,使医生和患者可以轻松上传MRI数据并接收数据报告和诊断结果。
结论
深度CNN联合TL模型可实现对脑肿瘤的智能识别和分类,有助于减少医生工作强度,基于深度CNN联合TL模型的脑肿瘤症辅助诊断识别方法有效可行.基于此它与易于操作的用户界面(适用于医生+患者)一起提供给医院和患者,简化了医生和患者的工作流程和检测时间,使患者可以更早地检测异常,并且能够在不牺牲准确性的情况下提高精准的辅助诊断。
下一步工作:
1.为用户添加注册页面。
2.增加聊天系统构建移动应用。
3.将所有网络功能集成到移动应用中,建立API,以便医疗开发人员可以将预后工具集成到他们的应用程序中。
3. 收集更多其他MRI数据以解决准确率问题。
4. 优化模型。设计基于GAN等模型来优化后端系统,以改善神经网络所训练的准确率。