医图论文 Arxiv‘24 | SimpleCNN-UNet：多层交叉注意力与小核卷积组合实现目标分割

最新推荐文章于 2025-05-07 15:05:11 发布

小天才学习机打游戏

最新推荐文章于 2025-05-07 15:05:11 发布

阅读量892

点赞数 11

文章标签： microsoft prompt 人工智能 chatgpt 大数据

本文链接：https://blog.csdn.net/m0_59164520/article/details/144067023

版权

论文信息

题目：SimpleCNN-UNet: An optic disc image segmentation network based on efficient small-kernel convolutions

SimpleCNN-UNet：基于高效小核卷积的视盘图像分割网络

论文创新点

高效的小核卷积网络结构：作者提出了一个基于小核卷积的轻量级图像分割网络SimpleCNN-UNet。通过策略性地堆叠小卷积核，该网络能够模拟大核卷积的接受域，同时显著减少参数数量，降低了训练的计算成本。
多层交叉注意力门（Multi-Layer Cross-Attention Gate）：该网络引入了一个新颖的多层交叉注意力门，用于不同层次特征的有效融合。这一特性使得网络能够更加关注深层的通道信息和浅层的空间信息，增强了模型提取多级特征的能力。
数据增强技术：为了克服眼底图像数据有限的问题，作者采用了数据增强技术来扩展现有数据集。这不仅增加了数据多样性，还提高了网络的训练效率和分割效果。

关键词：

U-Net、视盘图像分割、多层特征融合、空域-通道注意力

摘要

病理性近视可能导致一系列眼病，包括青光眼和视网膜病变。其中最显著的变化之一是眼底图像中视盘区域大小的改变。因此，在眼科医学诊断中，精确分割视盘区域尤为重要。尽管许多成熟的医学图像分割方法依赖于全卷积网络（FCNs），但它们在捕获全局上下文方面通常不如Transformer模型。然而，引入Transformer通常需要更大的训练数据集，这可能构成重大挑战。为了解决这些问题，提出了使用大卷积核的卷积神经网络（CNNs）作为捕获上下文信息的替代方案，但它们带来了参数数量增加和训练期间计算成本更高的问题。在本文中，我们介绍了SimpleCNN-UNet，这是一个基于小核卷积的轻量级图像分割网络。通过策略性地堆叠这些小卷积，我们模拟了大核卷积的接受域，同时大幅减少了参数数量。SimpleCNN-UNet的另一个新颖特性是多层交叉注意力门（Multi-Layer Cross-Attention Gate），旨在不同层次之间高效融合特征。为了克服眼底图像数据有限的问题，我们对现有数据集进行了广泛的数据增强技术。我们的实验结果在iChallenge-PM、iChallenge-AMD、iChallenge-GON和IDRiD数据集上表明，SimpleCNN-UNet在性能方面优于其他图像分割网络，同时也提供了更快的推理速度和更低的训练成本。

3. 方法

3.1. 网络结构

本节介绍了我们提出的SimpleCNN-UNet，如图4所示，它具有典型的U形结构。它可以划分为两个阶段：编码器和解码器，通过跳跃连接相互连接。在编码器阶段，SCNN块在不同层次提取丰富的空间信息，然后通过常规卷积块增加通道数。在具有跳跃连接的解码器阶段，上采样的深层特征通过多尺度交叉注意力块与跳跃连接的浅层特征融合。随后，使用常规卷积块减少通道数。

3.2. 编码器阶段

编码器由五层组成，从上到下排列，如图4所示。每层包括一个SCNN块、一个常规卷积块和一个下采样操作。常规卷积块由一个3×3的卷积层、步长为1、填充为1组成，紧接着是批量归一化和ReLU激活层，有效地增加了特征图像的通道数。与U-Net及其大多数变体一样，我们使用最大池化进行下采样步骤，滤波器窗口为2×2，步长为2。与传统卷积或平均池化不同，最大池化可以更好地突出特征图中的显著特征，并表现出更强的抗噪声能力，这在处理医学图像时特别有益，因为医学图像中的高频特征并不突出。

编码器的主要特征提取模块是SCNN块，如图5所示。它主要由两组深度卷积后跟逐点卷积组成，也称为深度可分离卷积，早在MobileNet中就已证明其有效性。深度卷积，组数等于通道数，用于提取图像的空间信息，然后是逐点卷积，核大小为1×1，合并跨通道信息的同时保持空间维度。SCNN块不使用传统的大核尺寸深度卷积，而是利用两个3×3的小核尺寸深度卷积和步长为1。这种薄而深的架构能够获得与大核卷积相当的接受域，同时减少参数数量和训练难度。此外，SCNN块在两个深度卷积——逐点卷积对之间采用了倒置瓶颈设计，将隐藏维度扩展到输入维度的三倍，然后恢复，以捕获不同空间维度的信息。第一个深度卷积和最终的残差连接增强了特征传播的效率。最后，为了优化网络结构，在卷积块之间使用了层归一化（LN）、批量归一化（BN）、Sigmoid线性单元（SiLU）和全局Sigmoid线性单元（GSiLU）。SCNN块的具体定义如下：

其中表示第层SCNN块的输出特征图，表示GSiLU，表示SiLU，BN代表批量归一化，LN代表层归一化。由于SCNN块不改变特征图的分辨率和通道数，我们随后使用一个常规卷积块将通道数加倍。

3.3. 具有跳跃连接的解码器阶段

解码器与编码器具有相同数量的层，从下到上由五层组成。其中，前四层每层都包含一个多层交叉注意力门（MLCAGate），其主要功能是在保持尺度一致性的同时有效融合不同尺度的特征。同样，我们使用常规卷积块，包括一个3×3核的卷积层、BN层和ReLU，用于通道数减少，使用最近邻插值进行特征图上采样。由于深层和浅层特征之间存在固有的维度和尺度差异，仅通过上采样无法实现它们的信息有效对齐。为了更好地融合不同网络层之间的特征，我们提出了多层交叉注意力门（MLCAGate），如图6所示。该门采用了一种新颖的方法来融合不同层次的特征，其中虚线表示浅层特征的输入，实线表示深层特征的输入。最初，我们对上采样的深层特征和跳跃连接的浅层特征执行卷积、GELU激活和批量归一化（BN）。然后，处理过的浅层特征与深层特征进行逐元素相加。由于浅层特征包含更多的空间信息，而深层特征具有更丰富的通道信息，我们执行深层特征的通道注意力与浅层特征的逐元素相乘，然后执行浅层特征的空间注意力与深层特征的逐元素相乘。最后，我们将两者的乘积相加得到融合特征。分别提取空间和通道注意力的策略已在卷积块注意力模块（CBAM）中证明是有效的（Woo, Park, Lee, & Kweon, 2018）。通过结合不同层次的空间-通道注意力，交叉注意力门可以关注深层通道和浅层空间信息，从而增强网络提取多层次特征信息的能力。多层交叉注意力门的具体实现如下：

其中、和分别表示上采样的深层特征、跳跃连接的浅层特征和MLCAGate的输出特征，代表RELU，代表Sigmoid，BN代表批量归一化，MLP表示一个具有一个隐藏层的多层感知器（MLP），其中隐藏层的特征图大小为，为降维比率。值得注意的是，在处理过程中MLCAGate不改变特征图的分辨率和通道数。因此，我们随后使用一个常规卷积块将通道数减少到原始大小的一半，有效地压缩和优化特征。

4. 实验和结果

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述