目录
前言
课题背景和意义
实现技术思路
一、全监督医学图像分割
二、半监督医学图像分割
三、医学影像分割中的不确定性度量
实现效果图样例
最后
前言
📅大四是整个大学期间最忙碌的时光,一边要忙着备考或实习为毕业后面临的就业升学做准备,一边要为毕业设计耗费大量精力。近几年各个学校要求的毕设项目越来越难,有不少课题是研究生级别难度的,对本科同学来说是充满挑战。为帮助大家顺利通过和节省时间与精力投入到更重要的就业和考试中去,学长分享优质的选题经验和毕设项目与技术思路。
🚀对毕设有任何疑问都可以问学长哦!
选题指导: https://blog.csdn.net/qq_37340229/article/details/128243277
大家好,这里是海浪学长毕设专题,本次分享的课题是
🎯基于深度学习的医学影像分割
课题背景和意义
医学影像分割是计算机辅助诊断中的一项基础且关键的任务
,
目的在于从像素级别准确识别出目标器官、
组织或病变区域
。
不同于自然场景下的图像
,
医学影像往往纹理复杂
,
同时受限于成像技术和成像设备
,
医学影像噪声大,
边界模糊而不易判断
。
除此之外
,
对医学影像进行标注极大依赖于医疗专家的认知和经验
,
因此可用于训练中的标注数据少且存在标注误差。
早期的医学影像分割系统主要基于传统的图像分割算法搭建,如基于边缘检测的分割算法 、基于阈值的分割算法和基于区域的分割算法 。但医学图像通常具有对比度低、组织纹理复杂、边界区域模糊等特点,极大地限制了此类图像分割算法的效果和应用场景。随后,针对特定任务设计手工特征的分割算法很长一段时间成为了医学影像分割的研究主流,然而手工特征的设计极大依赖医生的专业先验知识,而且往往泛化能力差,无法迁移到新的任务场景下。因此在实际应用中基于传统图像分割技术的医学影像分割系统仍然不够成熟,无法获得令人满意的分割效果。
实现技术思路
一、全监督医学图像分割
近年来,卷积神经网络
已经成为处理图像分割任务的主流方法,并被广泛拓展到医学图像分割当中。卷积网络能够通过学习特定的卷积核提取丰富的图像特征,从而生成有效、准确的分割结果。
网络结构
医学图像在数据结构上与自然图像类似,同时,医学图像也存在与自然图像明显不同的特性,如空间尺寸、目标大小、成像质量等。基于这些特性,研究者对自然图像的网络结构进行改进,构建更适用于医学领域的模型。
1)编码器
-
解码器结构
于细胞分割的
U
-
Net
,这一结构随后被广泛应用于各种医学图像分割任务中。U
-
Net
包括用于特征提取的编码器,以及与之对称、用于恢复空间分辨率并生成分割结果的解码器。
U
-
Net
通过跳跃连接实现了不同层级的特征融合,提高了分割精度。后进一步对多层特征的融合方式进行改进,提出了 U
-
Net++
,结构如图
2
所示。
U
-
Net++
将
U
-
Net
中简单的跳跃连接替换为卷积层,并且在同分辨率下的不同卷积层、相邻分辨率下的卷积层间添加跳跃连接,从而形成密集连接以强化特征融合。
2)注意力机制
随着对神经网络研究的不断深入,注意力机制逐渐得到了广泛的应用,这一机制在人类视觉系统中同样至关重要。通道注意力的 典 型 代 表 为SENet(Squeeze
-
and
-
Excitation Network)
。SENet 提出了压缩-激发(
Squeeze
-
and
-
Excitation
,
SE
)模块以对不同通道的特征进行加权。
空间注意力则以
Non
-
local
的一系列工作为代表。区别于通道注意力,空间注意力给每个像素计算注意力图以实现全图范围的特征提取,从而有效地弥补了卷积操作因感受野有限导致的全局特征提取能力的不足。
3) 改进卷积计算
标准卷积的问题在于感受野有限且固定,导致其无法有效地提取全局信息。为了增大感受野,需要堆叠多层卷积层并通过下采样操作降低空间分辨率。然而,这种操作仍存在局限性,因此出现了许多对卷积运算的改进工作,例如空洞卷积与可变形卷积。
相当一部分医学图像(磁共振影像)实际上为三维容积数据。尽管可以使用三维卷积网络直接计算,但相较于二维网络,三维网络的参数量呈指数级增加,限制了其推广应用。而如果使用二维网络计算,则会完全忽略一个维度的信息,影响分割效果。为了缓解这一问题,WNet(Whole tumor Network)提出使用二维卷积提取平面信息,并随后使用一维卷积提取第三个维度的信息。
区别于WNet,MFNet(Multi-direction Fusion Network)在将三维卷积拆分为伪三维卷积的基础上提出了多方向融合模块,该模块使用三支并行的计算分支,每个分支从不同方向将 3 × 3 × 3卷积拆分为3 × 3 × 1与1 × 3 × 3卷积。相较于WNet,该方法同时从三个方向提取特征并进行融合,避免了多次训练与推理的额外计算开销。
4)模型级联
由于存在由粗到精的分割过程,除了使用一个模型完成一次性分割,另一种经典而有效的处理方式是将多个模型级联起来,每个模型分别完成一个分割子任务
损失函数
在全监督学习中,损失函数直接决定了网络的训练目标。对于图像分割任务而言,最常用的损失函数为交叉熵损失,这一损失被广泛应用于自然图像分割任务中。
1)交叉熵损失
交叉熵(
Cross Entropy
)损失是图像分割任务中应用最广泛的损失函数,并同时适用于二分类和多分类任务。
2)Dice
损失
在评估医学图像分割任务的性能时,
Dice
系数为一个常用的指标:
3)多任务损失
为了增强分割网络的特征提取能力,研究者在设计损失函数时,除了最终的分割损失之外,还可以根据任务特点设计额外的预测分支以组成多任务损失。
精度优化
尽管关于改进网络模型的工作不断出现,但以
U
-
Net
为代表的经典网络仍然具有相当的竞争力,在众多医学图像分割比赛中具有重要地位。
1)数据增广
为了避免过拟合,同时增强网络对于各种变化的鲁棒性, 训练数据增广是模型训练不可缺少的操作。由于医学图像及标注获取的困难性,医学数据集规模往往远小于自然图像数据集,因此更容易出现过拟合现象。常用的训练数据增广方法包括随机缩放、随机裁剪、随机旋转、随机翻转、随机噪声等。
2)模块优化
不断有更有效的通用网络模块被提出,并可以整合到U
-
Net的编码器-解码器结构中。例如 ,在卷积 层 与 激 活 函 数 之 间 加 入 批 标 准 化 层(Batch Normalization),可以使网络收敛速度更快、鲁棒性更好、效果更出色。
对于医学影像分割中常见的三维卷积
网络,由于其本身计算开销较大,批尺寸通常严重受限
。对于这类网络,使用
计算不依赖于批尺寸的标准化方法,例如分组标准化
、样本
标准化
和层标准化
,往往可以达到更好的效果。
3)模型融合
多模型融合是医学图像分割比赛中的常用技巧,由于训练的随机性,单个模型容易陷入局部最优点,而整合多个模型的预测结果通常可以提高整体分割效果,增强分割的鲁棒性。
二、半监督医学图像分割
基于自训练和协同训练的算法
自训练算法和协同训练算法均通过流形假设来利用已标记数据传播信息生成伪标签并进行迭代优化,已有很多研究将此思想应用于医学影像分割。
使用多个模型预测的均值作为伪标签,同时为了使模型学习到更多互补的知识,引入了对抗样本以捕捉不同模型间的差异。此方法额外定义了差异损失函数,针对每个模型 f
i
对输入
x
进行调整生成对应的对抗样本
g
i
(
x
)。
使用带噪的伪标签容易造成模型退化而约束后的伪标签又无法提供足够的信息量,为了平衡两者间的矛盾,定义了深度注意力网络(Deep Attention Network,DAN)以自适应地发现和纠正噪声标签中错误的信息,并且提出了分级蒸馏的方法生成更加可靠的伪标签,最终在多个医学分割任务上有效地提升了网络的性能。
基于一致性正则的算法
通常训练得到的卷积神经网络无法保证这种变换不变性,从而泛化性能较差。半监督学习中为了能够使用少量标注数据训练出更加鲁棒的模型,提出了对数据扰动前后的一致性进行约束的方法
在
Π-
Model
和
Temporal Ensembling的启发下,均值教师算法对两者的思想进行了融合
于此方法在脊髓灰质分割任务上进行了实验。
约束从编码器输出的特征中还原的图像应与真实的图像相似,进而强化编码器的特征提取力。 利用重建的方法构建了多任务注意力机制半监督学习(Multi-task Attention-based Semi-Supervised Learning,MASSL)框架辅助训练。
基于图的算法
在特征空间中的数据点上建立加权无向图
G
= (
V
,
E
)
,其中
V
表示数据点,图结构中的边用于描述样本之间局部相似性,相连的样本相似度较高,因而根据流形假设信息可以沿着图的边进行传播,最后将图上所有数据点划分到不相交的子集中完成分类过程。
基于生成对抗网络的算法
生成对抗网络(
Generative Adversarial Network
,
GAN
)是 一 种 基 于 对 抗 的 学 习 生 成 模 型 算 法 ,包 含 生 成 器 (generator
)与判别器(
discriminator
),其中生成器用于数据的生成,判别器用于结果的评估。通过研究了两种数据生成方式:变形场生
成器和加性强度场生成器
深度对抗网络(Deep Adversarial Network,DAN)框架,DAN 将对抗网络应用于腺体分割与真菌分割任务,首先在有标记数据上预训练分割网络,在加入无标记数据后定义了判别网络来评价分割网络的预测质量。
三、医学影像分割中的不确定性度量
深度模型集成
早期深度模型集成的方式主要采用生成多个训练模型来近似预测分布。
改变模型初始化参数从而获得不同初始化条件下的训练模型,进一步用获得的多个模型下的预测集成来表征模型不确定性:
深度贝叶斯网络
传 统 的 神 经 网 络 模 型 可 以 视 为 一 个 条 件 分 布 模 型P( y|x,w):输入为 x,模型参数 w,输出预测 y 的分布。网络的学习过程是对模型参数w的最大似然估计:
随机不确定性
随机不确定性指的是观测中固有的噪声,这部分不确定性来源于医疗设备采集成像的数据本身噪声以及标注存在的不可控误差,不能通过获取更多的数据来减轻这种不确定性。
输入不确定性指的是由于成像设备的限制导致的医学影像的模糊性,进而导致标注结果受到医疗专家主观认知以及客观差异化的影响,造成误标、漏标的情况。
实现效果图样例
基于深度学习的肿瘤图像分割
我是海浪学长,创作不易,欢迎点赞、关注、收藏、留言。
毕设帮助,疑难解答,欢迎打扰!
最后