《基于U-Net结构改进的医学影像分割技术综述》学习笔记

本文链接：https://blog.csdn.net/Shirly_mmm/article/details/123412101

U-Net（网络结构对称，形似英文字母U）提出之初就是做医学图像分割的

后面有很多演变，比如FCN（全卷积网络，）、SegNet（旨在解决自动驾驶或者智能机器人的图像语义分割深度网络）、PSPNet（引入金字塔池化模型，是一种有效的全局上下文先验模型）、DeepLab（采用的 atrous（带孔）算法扩展感受野，获取更多的上下文信息），与FCN一样，都是encoder（负责特征提取）、decoder（解码器）的结构，结构简单并且有效。在一些类别较少的数据集上，一般使用unet来做语义分割，尤其用于二分类的结构上。

图 1 U-Net网络学习

损失函数表示预测和目标之间的差异,常用交叉熵、Dice loss 等。

评价参数是评价图像分割好坏的重要参数,常用 Dice 等。

评价参数

先了解机器学习中的混淆矩阵：主要是解决二分类问题。

混淆矩阵参数：

精确率表示的是预测为正的样本中有多少被预测正确.

召回率就是召回目标类别,即表示样本中的正样本有多少被预测正确.

准确率是评估获得所有成果中目标成果所占的比率.

综合评价指标（F-Measure）是综合精确率和召回率的评估指标,用于反映整体的情况.

IoU通过预测边框和真实边框的比值计算两个样本的相似度或者重叠度.

mIoU 为语义分割的标准度量

Dice计算两个样本的相似度或者重叠度

SSIM 图像质量评价结构相似性指标,是基于样本 x 和 y 之间对于亮度、对比度、结构这 3 个方面进行比较,其范围为[0,1],值越大,两图像之间的差异越小。

损失函数：

交叉熵损失函数：在 0-1 之间.对于正样本而言,输出越大,意味着损失越小;对于负样本而言,越小,则损失越小。

Focal loss就是用来处理数据集中的难分样本.Dice 系数可以用来处理数据分类不均衡的情况。对于二分类,可以只考虑待分割区域,即是Dice loss 函数。

基于 U-Net 改进的各类的图像分割方法

1、问题：传统的 2D 图像处理模型处理 3D 的医学影像时，一是效率不高，二是会丢失大量的上下文。

解决方法：提出3D U-net 输入输出是三维图像,提升了 U-Net 模型对三维图像的分割准确性。提出V-net输入 3D 图像按照通道拆分的同时,在每一层加入残差结构,以确保短时间收敛.降采样采用卷积操作替换最大池化操作,减小输入信号的尺寸的同时扩大特征感受野范围。

2、问题：聚焦目标特征、抑制无关特征

解决方法：加入 SE 模块通过学习的方式来自动获取到每个特征通道的重要程度，依照这个重要程度去提升有用的特征,并抑制对当前任务用处不大的特征。

加入 attention 块将计算资源偏向信号最具信息性的部分的方法。由于病灶较小且形状变化较大,常在 encoder（编码器）和 decoder（译码器）对应特征拼接之前,或是在 U-Net 的瓶颈处增加 attention 模块来减少假阳性预测. 该模块将生成一个门控信号g,用以消除不相关和嘈杂的歧义在跳过连接中的响应,以突出通过跳过连接传递的显着特征。

一般在编解码器和瓶颈处加入 SE 或者 attention 模块,这两个模块都可以从空间和通道两个方面进行激励,以达到增强特征的效果。

3、问题：3D 卷积占用 CPU 量过大

解决方法：

主要解决方法,一种方法是扩大 patch（补丁）中的volume（体积）,另一种方法是用较小的 batch size（一次训练所选取的样本数）训练。

改进方法：（1）、加入稠密卷积块：以 2D 网络的快速分割结果来指导

3D 模型的学习并实施分割。在编解码器引入 Dense connectivity 密集连接,避免了冗余特征的学习,增强了信息流动,在性能接近的前提下进一步减少了网络参数,降低了计算成本。

（2）、将 U-Net的编解码器每个单元采用可逆序列,同时使用传统的不可逆操作来进行下采样和上采样以及跳跃连接，激活只需要在每个可逆序列的末尾和不可逆的组件上保存。

（3）、加入 SE 残差块：第 1 层是下采样,其余由 SE residual block 代替,采用了 SE 残差块学习有效特征,以提升分割小解剖结构的性能。

（4）、通道分组：将循环通道分成多个组,这样可以减少特征映射和核心之间的连接,从而显著地节省参数。

（5）、加入 Inception 块：采用 Dense-Inception 模块,在增加网络深度的同时,又不会增加参数的数量;上下采样采用 Inception 模块,保证图像分割的准确性。

（6）、 PBR-Unet：主要包括提取像素级概率图的功能提取模块和用于精细分割的双向递归模块。

4、问题：网络的上下文特征的融合、不同模态特征的融合。

解决方法：（1）对于上下文特征的融合：编解码器加入新的模块，能获取更高层次的信息,并保留 2D 医学影像分割中的医学信息；在跳连处改进，U-Net 的跳连结构主要是融合上下文的语义特征,以更好地分割病灶。由一系列带有残差连接的卷积层构成的 Res path 取代 U-Net 的级联,使低级特征经过进一步处理再与高级特征级联,以消除编码器的低级特征和解码器的高级特征融合时造成的语义差异。外接特征金字塔，从扩展路径的各个层次提取特征,最后将提取的特征串联,形成 64 通道的最终特征映射,并传给用于特征分类滤波器中。

（2）对于不同模态的特征融合：传统的 U-Net 网络对于多模态图像输入,采用先混合处理再输入的方式。提出深度级联脑肿瘤分割方法：是将编码器并行分出几个路径分别学习不同模态的特征表示,在跳连和 bottleneck（瓶颈）处采用像素最大化操作再与解码器级联。

5、问题：提高泛化能力（指网络可以混合训练来自不同提供商的图像）

解决方法：（1）从内部结构提出适应不同提供商图像的域适配器（2）从外部接入 Cycle-GAN 网络，Cycle-GAN是一个为未配对的图像到图像转换而设计的既定架构。

6、问题：对小样本训练数据集的改进

解决方法：从重复的网络结构和数据集标签两个方面进行

（1）重复的网络结构

在 bottleneck（瓶颈层）重复使用 SRU 门控单元,也可以重复使用整个 U-Net。

（2）数据集标签

以结合贝叶斯训练给定数据标签再进行网络训练,提升分割准确性;或者将一幅图像仅使用一个单一全局标签,以降低对数据量的要求。

基于 U-Net 面向结构模块的改进

1、编码器解码器结构的改进方法：一是卷积操作的改进,如加入协调引导卷积、长短残差结构;二是编解码器单元的改进,如可以可形变卷积块、循环残差卷积和概率模块;三是上、下采样的改进,如可以采用长短残差结构和最近邻插值的方法.

2、基于损失函数的改进方法：

（1）函数自身改进：Dice loss 函数的一个局限性在于 FP 与 FN 的检测权重相等,这将导致分割图有较高的准确率（评估获得所有成果中目标成果所占的比率）和较低的召回率（表示样本中的正样本有多少被预测正确），而FN需要比 FP 高很多才能提高召回率，对分割求偏导数,从而不需要为不同类别分配权重，提出一个新的损失函数Cos-Dice损失函数,来加速学习进程。（2）两个函数的混合：针对医学数据类不平衡的问题，提出了一个广义的损失函数Focal Tversky Loss(FTL)，在训练较小结构可以更好地权衡准确率与召回率之间的关系。

3、针对增加数据流路径的改进方法：

一是采用 DenseNet 的思想,增加网络中不同模块之间的连接;二是将 U-Net 网络串行使用两次（桥连接）从而达到信息成倍数流通的目的。

4、基于自动搜索最优网络结构的改进方法：

解决三维图像分割中大量手动调参和网络体系结构优化的问题，在每一层加入一个新的块结构Mg-Blk，其中的可学习块block 的学习训练将一个块结构表示成一个有向无环图，通过学习节点数以及扩张率来训练整个网络的准确性.

5、基于瓶颈(bottleneck)的改进方法

瓶颈：U 型网络收缩路径和扩张路径中间的部分,主要接受了所有来自编码器提取的特征信息,并将分割好的的图像通过解码器恢复到原有分辨率。

多采用 attention 机制，将通道注意力和空间注意力相结合,以更好地分割。