论文笔记Dense-PSP-UNet: A neural network for fast inference liver ultrasound segmentation

密集型PSP网络：基于神经网络的快速肝脏超声图像分割

Computers in Biology and Medicine 2023

        肝脏超声（US）或超声波检查因其实时输出、低成本、易用性、便携性和非侵入性而被广泛使用。实时肝脏US的分割对于诊断和分析肝脏状况（例如，肝细胞癌（HCC）），辅助外科医生/放射科医生进行治疗程序。本文提出了一种在神经网络骨架中使用改进的金字塔场景解析（PSP）模块来实现实时分割而不影响分割精度的方法。考虑到超声数据中广泛存在的噪声及其对结果的影响，本文也研究了预处理和损失函数对分割性能的影响。我们在注释了包含8名健康志愿者的2400幅图像的公开可用US数据集之后测试了我们的方法（提供了到注释数据集的链接）;实验结果表明，Dice系数高达0.913±0.024，实时性可达37帧/秒（FPS）。

        在本文中，我们提出了一种神经网络架构，即Dense-PSP-UNet，以实现实时肝脏超声分割，而不影响分割精度。预处理和损失函数分别是影响输入图像质量和神经网络学习能力的关键步骤。然而，文献中的一些工作不重视US对比度增强和损失函数的选择。与US图像相关的两个主要挑战是斑点噪声和差的对比度。现有论文已经提出了几种去噪方法来降低图像中的噪声水平。然而，这些方法引入伪影并且不增强图像的对比度。我们选择对比度受限自适应直方图均衡化CLAHE而不是众所周知的去噪技术，因为它使用滑动窗口方法提高了对比度（即：局部自适应增强），同时降低图像的噪声水平。增强的图像被传递到卷积层以用于自动特征提取。此外，我们从定义明确的类别中选择代表性损失函数（即：基于区域、基于分布和基于边界），以突出适用于肝脏US分割任务的损失函数类别。

论文中有以下贡献：

1.我们提出了具有固定特征宽度的调整后的Dense-UNet主干，以重用网络参数并改善特征传播，同时显著减少参数计数并实现实时肝脏超声分割。

2.我们在跳过连接上引入了一种新的机制，以在固定宽度神经网络中提取多尺度特征和上下文关联，从而提高了复杂（模糊和低对比度）US图像的分割准确性，同时保持实时推理。

3.我们注释了一个公开可用的肝脏US视频数据集，提供了一个基准。

4.我们增强了动态表面损失，使拟议的网络能够同时了解类别分布和地面真实情况的面积。此外，我们还进行了一项比较研究，突出了损失函数和CLAHE预处理对网络分割准确性的影响。

5.我们进行了一项全面的实证研究，以了解修改后的PSP模块对Dense-UNet和UNet系列中其他架构的分割准确性的影响。此外，我们比较了US、生物医学和语义分割任务的拟议模型与最先进模型的分割性能。

Modified pyramid scene parsing module  

        PSP模块通常用于语义切分，以减少由于上下文关系较差而产生的错误，并作为全局上下文先验。本文调整PSP模块以提取肝脏和背景之间有影响力的上下文关联，从而在每个编码器阶段创建全局特征表示。这些丰富的特征通过跳跃连接传递到对应的解码器块，以提供必要的多尺度空间信息，用于实时有效地构建肝脏分割掩模。PSP模块的一个关键组件是全局平均池（GAP），它提供输入特征映射的简明矢量表示。独立地，GAP可能不适合于低对比度US图像，因为它可能导致空间相关性的显著损失并且可能不帮助网络区分肝脏和背景。因此，各个子区域的附加多尺度信息对于区分具有弱上下文关系的区域至关重要。多尺度特征可以通过使用具有不同核大小的池操作来获得，然后将其与差距输出融合以创建丰富的特征表示。我们通过改变多尺度核的数量和大小来修改PSP模块，以改善低对比度US视频中肝脏的分割。此外，我们将多尺度合并后的1 × 1卷积中的核数固定为64，确保有限的参数使用和内存利用，从而允许实时推断。我们避免修改输入特征图的通道宽度，确保解码器可以访问编码器的原始特征图。随后，利用双线性插值对卷积结果进行上采样，以创建具有精确尺寸作为输入的特征图。最后，将多尺度要素连接起来以产生修改的金字塔池化操作的输出。