医图顶会 MICCAI‘23 | EoFormer：用于医学目标分割的边缘导向的Transformer_eoformer: edge-oriented transformer for brain tumo-CSDN博客

本文链接：https://blog.csdn.net/m0_59164520/article/details/144274461

论文信息

题目：EoFormer: Edge-Oriented Transformer for Brain Tumor Segmentation

EoFormer：用于脑肿瘤分割的边缘导向的Transformer

源码链接：https://github.com/sd0809/EoFormer

论文创新点

面向边缘的Transformer (EoFormer)：作者提出了一种新的面向边缘的Transformer结构，专门用于捕获和增强脑肿瘤分割中的边缘信息。这是通过结合CNN和Transformer的优势来实现的，其中CNN结构用于捕获图像中的低级局部特征，而Transformer结构用于建立特征之间的长距离依赖关系，生成高级全局特征。
高效混合编码器 (EHE)：作者设计了一个名为高效混合编码器的CNN-Transformer编码器，以实现更有效的特征表示。这种编码器平衡了CNN和Transformer的优势，能够有效提取局部和全局信息。特别是，作者引入了扩展的3D高效注意力模块，以降低模型的计算和内存复杂度。
边缘锐化模块：为了提供更准确的边缘预测，作者在解码器中设计了两个边缘锐化模块，即**面向边缘的Sobel (EoS)和Laplacian (EoL)**模块。这两个模块通过隐式嵌入Sobel和Laplacian滤波器到卷积层中，增强了特征图中包含的边缘信息。
重参数化技术和高效注意力机制：为了提高模型效率，作者引入了重参数化技术和高效注意力机制。这些技术简化了模型架构，减少了推理时间，并使EoFormer在计算上更加高效，同时在BraTS 2020和MedSeg数据集上实现了优于现有最先进方法的性能。

摘要

在MRI图像中准确分割脑肿瘤需要精确检测边缘信息。然而，这一关键信息被现有方法忽视了。在本文中，作者介绍了一种面向边缘的Transformer（EoFormer），专门用于捕获和增强脑肿瘤分割的边缘信息。作者的方法结合了CNN-Transformer编码器，全面提高特征表示能力。CNN结构捕获图像中的低级局部特征，而Transformer结构建立特征之间的长距离依赖关系，生成高级全局特征。此外，作者的方法的解码器使用了两个边缘锐化模块，即面向边缘的Sobel和Laplacian模块，增强了边缘信息。作者还引入了高效的注意力和重参数化技术，使EoFormer在计算上更加高效。在BraTS 2020数据集和私人髓母细胞瘤数据集上的实验结果表明，作者的方法与现有最先进方法相比具有优越性。此外，作者的方法在模型参数有限和FLOPs较低的情况下实现了这一点，使其成为未来研究的有希望的方法。

关键字

脑肿瘤分割 · 面向边缘模块 · Transformer

2 方法

图1(a)展示了提出的EoFormer架构的概述，包括两个组件：(1) EHE编码器和瓶颈，用于捕获低级局部特征并学习全面的特征表示。(2) 一个解码器，它结合了面向边缘的模块以增强特征中的边缘信息。

2.1 高效混合编码器

如图1(a)所示，EHE包括四个阶段，每个阶段由一个特征提取模块和一个下采样模块组成。所有四个特征提取模块都遵循一般Transformer架构的相同范式（见图1(b)），将Transformer中的注意力模块视为令牌混合器。在EHE的前两个阶段，作者使用深度卷积（DWConv）来实例化令牌混合器，称为ConvFormer块。在第三阶段和瓶颈中，作者使用多头自注意力（MSA）来实例化令牌混合器，这是典型的Transformer块。对于每个阶段i，给定输入特征图X，第i个块的输出X’'计算如下：

其中TokenMixer_i(·)对应于DWConv（i ∈ {0, 1}）和MSA（i ∈ {2, 3}），Norm(·)表示层归一化，MLP(·)表示多层感知器。作者的方法结合了CNN和Transformer的优势，创建了一个更强大的编码器，可以从输入数据中提取局部和全局信息。作者通过用作者扩展的3D高效注意力替换传统的注意力来解决由3D输入引起的计算和内存复杂度问题。假设输入特征的大小为n，维度为d，输入特征X ∈ R^n×d通过三个线性层生成查询Q ∈ R^n×dk，键K ∈ R^n×dk和值V ∈ R^n×dv。传统的注意力D(·)和高效注意力E(·)计算如下：

其中ρ(·)是softmax激活函数，T代表矩阵转置操作。高效注意力将传统注意力的内存复杂度和计算复杂度从O(n^2)和O(dn2)降低到O(dn+d^2)和O(nd2)，其中d = dv = 2dk。

2.2 面向边缘的Transformer解码器

作者在解码器中设计了EoFormer块（见图1©），它使用作者提出的面向边缘的Sobel模块（EoS）和面向边缘的Laplacian模块（EoL）实例化令牌混合器。每个面向边缘的模块包括一个正常的3×3×3卷积和一个边缘检测路径，从中间特征中提取一阶或二阶空间导数。这种设计允许面向边缘的模块有效地提取特征的边缘和纹理。此外，为了在不牺牲效率的情况下提高分割性能，作者在解码器中引入了重参数化技术。

面向边缘的Sobel模块

作者使用双分支结构，输入特征X同时通过两个不同的分支处理。第一个分支包含一个3×3×3卷积，从输入中提取基本特征。第二个分支负责边缘提取，首先使用C×C×1×1×1卷积来增强X的通道特征之间的交互，然后使用可学习的缩放Sobel滤波器从X中提取一阶微分边缘信息。这个滤波器能够检测三个方向（即水平、垂直和正交方向）的边缘，因此它包括三个滤波器Mx、My和Mz，每个滤波器由3×3×3数组表示。以Mx为例，描述如下：

然后作者对Mx应用一个可学习的缩放矩阵S ∈ RC×1×1×1，允许在每个通道中动态调整缩放因子。从缩放的Sobel-x滤波器提取的特征表示为：

其中‘·’表示逐通道乘法；DWConv_{S·Mx}表示DWConv(·)应用一个S·Mx可学习的缩放滤波器作为其核权重。类似地，Fy和Fz也以相同的方式处理。EoS模块的最终输出，表示为Fsob，为：

面向边缘的Laplacian模块与

仅提取水平、垂直和正交方向边缘的Sobel滤波器不同，Laplacian滤波器可以提取所有方向的边缘。在提取一阶微分边缘信息后，中间特征然后被送入EoL模块以提取二阶微分边缘信息。类似地，从可学习的缩放Laplacian滤波器获得的特征F，以及EoL模块的最终输出，表示为Flap，定义为：

面向边缘模块的重参数化

作者在面向边缘的模块中引入了重参数化[4,5]，以提高分割性能，同时保持高效率。具体来说，作者如下解释EoL模块的重参数化：

其中‘*’表示卷积操作，W_{conv}表示卷积的权重，B_{conv}表示偏置，up(·)是空间广播操作，将偏置B ∈ R^{1×C×1×1×1}升级为up(B) ∈ R^{1×C×3×3×3}。在推理阶段，输出特征F由一个正常的3×3×3卷积产生：

3 实验

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述