论文笔记Three-Dimensional Liver Image Segmentation Using Generative Adversarial Networks

基于特征恢复的生成对抗网络的三维肝脏图像分割

Frontiers in Medicine 2022

       在这项研究中，针对原始3D U-Net网络分割精度低的问题，提出了一种基于3D U-Net的改进网络。此外，为了解决由于难以获取标记的3D数据而导致训练数据不足的问题，将改进的3D U-Net网络嵌入到生成对抗网络的框架中，建立了半监督的3D肝脏分割优化算法。最后，考虑到利用随机噪声作为输入生成的3D腹部假图像质量较差的问题，设计了基于特征恢复方法的深度卷积神经网络（DCNN的主要限制之一是需要大量的标记数据进行训练）来生成更逼真的假图像。

肝组织的结构和CT成像过程中的一些问题：

1.由于患者的性别、年龄和体型的不同，个体患者肝脏的形状和大小在其CT图像中的外观有所不同；

2.腹部器官多，结构致密，组织密度与肝脏相似；

3.患者肝脏中病变区域的面积大小不固定，位置随机，在肝脏识别过程中会对网络造成干扰；

4.CT图像在成像过程中存在对噪声敏感、金属伪影、体动等问题，导致肝脏区域灰度值受成像环境的影响而发生变化，导致肝脏灰度不均匀。

针对腹部CT图像中肝脏分割的难点，通过对腹部CT图像进行预处理，提高了CT图像中肝脏的对比度，提高了肝脏的识别能力。此外，半监督学习算法减少了对大量标记数据的需求，利用 GAN 生成假图像，通过结合标记的CT图像以半监督的方式训练网络，通过扩展数据集可以进一步提高算法的肝脏分割性能。

数据预处理

1.CT值截断：剪裁用于改善肝脏和其他组织之间的对比度，经过裁剪处理，网络能更快地收敛。另外，本文主要是分割肝脏，对骨结构信息不敏感。通过裁剪CT图像的强度范围，可以减少骨骼和其他组织的干扰。

2.CT值归一化：数据集中的CT图像是从多个图像采集源获得的，具有不同的扫描设备和成像环境，这导致了不同的成像效果和灰度，这种灰度级的差异对样本的训练过程影响较大。因此，在将 CT 值转换为灰度值的过程中，需要尽可能地消除成像差异的影响。

3.灰度值区间映射：设置归一化，便于训练过程的计算和监督。在归一化阶段，我们根据RGB值的范围将归一化后的值乘以255，转换为整数。而且，低于零的归一化值是肉眼不可见的，因此需要将其乘以一个合理的值，以使图像的对比度更加清晰。从而将[-200, +200]的CT值映射到[0, 255]的灰度值区间。

Squeeze and Excitation (SE) Module

       原始的3D U-Net模型仅使用卷积来提取特征，本文增加SE结构提取图像特征，可以根据特征图像的值对每个特征通道进行加权，增加重要特征的权重，降低不相关特征的权重，从而提高特征提取的效果；SE结构是一种基于特征通道加权的注意力机制；本文将3D SE结构和卷积层结合起来作为基本的卷积模块，称为SE模块（SE模块由两个卷积层组成：第一个卷积层将输入特征图的分辨率和通道数调整为特定大小，同时可以压缩特征通道以减少计算量。第二个卷积层与SE结构结合使用）

Pyramid Pooling Module

       3D U-Net模型仅使用三个下采样来获得3D图像的感受野，并通过跳跃连接提升浅层特征的作用；我们引入了金字塔池化模块来获得更大的感受野，金字塔池化模块应用多尺度池化操作来获取和融合多尺度特征信息，可以提高模型对多尺度感受野选择的自由度；它还可以在不影响原始特征的情况下添加特征的多尺度信息；此外，为了将原始特征图像与不同尺度的池化结果拼接，需要使不同尺度的池化结果与原始特征图大小相同，该模块使每个位置都可以获取多个范围的信息，这样，最大范围可以直接达到全局大小，模块可以快速获取更多种类的信息（在该网络中，金字塔池化模块被添加在整个网络中分辨率最小的编码路径的末尾）        

 

Deep Convolutional Generative Adversarial Networks (DCGAN)

       DCGAN是一种结合了深度卷积神经网络和生成对抗网络的无监督学习算法，DCGAN的设计思想是在原有网络框架的限制上，实现更强大的生成模型。DCGAN的生成器通过随机噪声的卷积和上采样生成假图像，广泛用于生成2D图像的任务。为了生成3D图像，使用随机噪声的效果很差，因为很难通过深度神经网络学习3D图像分布。使用噪声作为输入学习高维图像分布非常慢，而使用3D U-Net网络作为判别器在训练过程中收敛速度非常快，这种矛盾会导致梯度分散的问题。

       此外，我们使用随机噪声来生成CT图像。然而，CT图像的轮廓很难生成，更不用说内部分布了。为了生成更逼真的3D图像，需要添加更多真实的图像分布信息来代替随机噪声，这样可以加快生成器的学习速度。

       在本文中，我们设计了一种基于特征恢复方法的卷积神经网络。通过提取改进后的3D U-Net网络生成的特征图，随机选择一部分特征图作为神经网络的输入，原因如下：恢复所有特征图是特征提取的逆过程，得到的分布与真实图像相同。如果选择了特征图的一部分，生成器将学习真实的图像分布并完成缺失的部分。而且，得到的图像与真实图像不同，增加了图像的多样性，达到了扩展数据集的目的。

       由于特征图是随机选择的，缺失部分也是随机的，因此可以训练生成器在任意位置恢复真实图像。另外，之所以使用特征图，而不是部分缺失的真实图像，是因为真实图像包含很多无用信息，导致生成器收敛缓慢。通过上采样和卷积操作，得到与真实图像切片大小相同的假图像。之后，分别通过改进的3D U-Net网络提取假图像和真实图像的特征图，并将两个特征图之间的平均差作为损失。然后，通过多次迭代更新生成器的网络参数，使生成器更好地恢复特征图，也使假图像更接近真实图像。

                         生成假图像的流程图

                                   判别器训练流程图

 

 
                                        生成器训练流程图