Conformer论文以及代码解析(上)

Conformer论文提出了结合卷积和Transformer优点的网络结构,通过Feature Coupling Unit(FCU)融合局部与全局特征,解决了卷积网络捕捉全局特征不足和Transformer忽视局部特征的问题。在ImageNet及COCO数据集上,Conformer表现出色,超越了DeiT-B和ResNet-101。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Conformer: Local Features Coupling Global Representations for Visual Recognition


论文: conformer论文
代码: comformer源码-torch

1. Abstract

在卷积网络中,卷积操作非常擅长捕捉局部特征信息,但是对于捕捉图像中的全局特征信息就非常困难;对于transformer,级联的self-attention机制可以捕捉到长距离的特征信息,但是又会弱化掉局部特征信息。其实这也是卷积和Transformer机制各自的优缺点,如何解决呢?论文中的思想其实很容易想到,既然单一的卷积或者Transformer机制都无法很好的获得图像的feature information,那么两个联合起来呢?于是,论文中提出一种混合网络,即Conformer,充分利用到卷积和transformer机制的优点。Conformer依赖于Feature Coupling Unit(FCU)特征耦合单元,以一种交互式的方式去融合convolutional得到的local feature和transformer得到的global feature。Conformer采用并行式结构,以获取最大程度上的local features和global features。实验结果上,在ImageNet上的Top-1相比DeiT-B高出2.3%;在COCO数据集上的检测和分割任务上,相比于ResNet-101作为backbone,分别高出3.7个点和3.6个点。

2. Introduction

这部分我就挑一些重点来讲,其他的就不过多提及。

关于卷积网络不太能够捕捉到global feature的缺点,一个直观的解决方法就是扩大其receptive field(如dilated convolution, deformable convolution等),作者说这样会破坏pooling层的操作,其实这个原因我不太赞同,因为有的网络模型是Fully convolutional的,哪来的pooling层呢?

虽然使用膨胀卷积或者可变形卷积可以扩大感受野,但是卷积的本质依旧没有改变,只是相对于普通卷积,可以获得稍微多一点的global feature

最近的ViT模型,将输入图像进行拆分成nxn和patches,加上Positional Encoding得到一系列的tokens,然后多次应用Multi-head self-attention机制和MLP,可以获得长距离的feature。但是,还是那个问题,没有什么模型是绝对好的,那么ViT的问题就在于会模糊前景和背景的local feature,如下图中的c和g:
在这里插入图片描述
图像中的孔雀(foreground)与树叶(background)的边缘信息已经丢失了。
同样的,普通卷积所获取的global feature也是很少的,如上图中的a和e,无论是网络的浅层还是深层,图中的孔雀轮廓并没有完整的显示出来。

论文中提出的Conformer就是为了解决这种问题:convolution分支基于ResNet,transformer分支基于ViT。联合卷积分支的local feature和Transformer分支的global feature来获取更好的特征表示。

到这里,另一个问题:卷积和Transformer所提取到的feature是存在差异的,不仅是shape的不匹配而且语义上也是存在差异。那么如何解决呢?使用FCU作为桥接两个分支的特征:
1)1x1 convolution用来调整channel的维度也就是C;
2) down/up sampling用来调整feature的分辨率也就是H和W;
3)Batch Norm和Layer Norm用来调整feature values。
并且,FCU模块被嵌入到网络的每个block中,更好的消除两种机制提取到的feature的语义差异。

论文的贡献在于:
1) 提出一种双向网络Conformer,最大程度上的获取local feature和global feature;
2) 提出的Feature Coupling Unit(FCU),以一种交互式的方式去fuse卷积分支得到的feature以及Transformer提取的feature;
3) 在相当可观的参数量,计算量的前提下,Conformer的性能显著优于CNN和Visual Transformer,并且有潜力成为一个通用的backbone网络。

3. Related Work

相关工作就不展开了,说来说去就那些东西。。。。

4. Conformer

4.1. Overview

局部特征和全局特征在计算机视觉任务中得到了广泛的研究。局部特征是局部图像邻域的紧凑向量表示,一直是许多计算机视觉算法的组成部分。全局表示包括轮廓表示、形状描述符和长距离上的对象表示等等。

在深度学习中,CNN通过卷积操作分层收集局部特征,并保留局部线索作为特征。Vision Transformer被认为可以通过级联的Self-Attention模块以一种soft的方式在压缩的patch embedding之间聚合全局表示。

为了利用局部特征全局表示,作者设计了一个并行网络的结构Conformer,如下图所示。考虑两种特征的差异性,作者将来自Vision Transformer分支的全局特征送入CNN中,以增强CNN分支的全局感知能力。

类似的,将来自CNN分支的局部特征送入到Vision Transformer中,以增强Vision Transformer分支的局部感知能力。这样的过程构成了interaction的作用

在这里插入图片描述
网络的整体流程图

  1. 对于conv feature maps和Transformer中的patch embeddings在空间维度上的转换(H, W), conv feature map通过下采样(Avg pool)得到patch embeddings,反之通过上采样(Interpolating)
  2. Conformer的具体细节:
    conv分支 中每一个conv block包括:1x1 conv、3x3conv,、1x1 conv(这里的每一个卷积都有BN+GELU高斯误差的Relu)
    Transformer分支 中每一个Trans block包括:layer norm -> Multi-head Self-attention -> short cut -> Layer norm -> MLP -> short cut 。具体细节以及怎么实现的在代码部分详细讲解
  3. 网络整体流程
    输入图像经过一个stem block(s=2的7x7conv,卷积核个数为64;3x3,s=2的最大池化)。随后进行两个并行分支网络:conv分支,Transformer分支。两个分支的最后都会有一个class head,得到两个分支的classifier

在训练时,使用两个CE loss进行BP,两个分支同时训练,并且loss的重要性程度相同
在推理时,两个分类器的预测结果进行加和

4.2. CNN Branch

关于卷积分支,作者分为4个stage,如下表:
在这里插入图片描述
类似于ResNet,每个Stage中包括多个convolution block,每一个convolution block又包括n个bottleneck,每个bottleneck中包括:1x1conv,3x3conv,1x1conv。并且只在第一个convolution block中的bottleneck数设置为1,其余的都设置为≥2

在进行conv分支的同时,除第一个bottleneck之外,每一个的bottleneck中的3x3conv输出的特征图都会转换到Transformer分支进行feature fusion

4.3. Transformer Branch

基于ViT模型来设计Transformer分支,包括N个Transformer blocks。如4.1中的图b,每一个Transformer blocks都包含:Multi-head Self-Attention、MLP block(一个升维的FC层和一个降维的FC层),其中还使用Layer Norm和short cut。

关于token,对于stem block中输出的特征图进行s=4的4x4conv,卷积核个数为384,得到14x14个patch embeddings,每个embedding的维度是384,加上一个class token,由于卷积分支中的特征图会转换到transformer分支中进行feature fusion,所以不再设计PE。tensor的shape具体变换如下:

[N, 64, 56, 56] -> [N, 384, 14, 14] -> [N, 196, 384] + [N, 1, 384] -> [N, 197, 384]

关于Feature Coupling Unit
conv分支输出的特征图shape为CxHxW,而transform分支输出的patch embedding的shape为(K+1)xE,K表示图像的patches数,1为class token,E为patch的维度

1)当conv分支的feature map -> trans blocks
首先使用1x1卷积进行channel维度的调整,将C调整到384(或Conformer-B中的768)
再经过下采样将H和W调整到14x14(使用最大池化完成)
最后使用layer norm调整最后一个维度上的feature values也就是384所在的那个维度

2)当transformer分支的patch embedding-> conv blocks
论文中的执行顺序:双线性插值进行上采样 -> 1x1conv调整channel -> Batch Norm调整feature values
但是代码中的顺序是:1x1conv -> BN -> GELU -> Up sampling

关于实验结果的分析以及结论不再说明,感兴趣的可以去看看原论文。
后面会继续更新Conformer源码的解析

### 回答1: CentOS 7上启动httpd服务失败可能有多种原因,以下是一些常见的解决方法: 1. 检查httpd配置文件是否正确:可以使用命令`httpd -t`检查httpd配置文件是否正确,如果有错误,需要修改配置文件。 2. 检查端口是否被占用:可以使用命令`netstat -tlnp`查看端口是否被占用,如果被占用需要释放端口或修改httpd配置文件中的端口号。 3. 检查httpd服务是否安装:可以使用命令`rpm -qa | grep httpd`查看httpd服务是否安装,如果没有安装需要先安装httpd服务。 4. 检查httpd服务是否启动:可以使用命令`systemctl status httpd`查看httpd服务是否启动,如果没有启动需要使用命令`systemctl start httpd`启动httpd服务。 5. 检查SELinux是否开启:如果SELinux开启,可能会导致httpd服务启动失败,需要使用命令`setenforce 0`关闭SELinux,或者修改SELinux策略。 以上是一些常见的解决方法,如果以上方法都无法解决问题,可以查看httpd服务日志文件,找到具体的错误信息,然后根据错误信息进行解决。 ### 回答2: CentOS 7上的httpd服务启动失败可能有多种原因。以下列出了一些常见问题和解决方法: 1. 端口被占用 当httpd试图占用已被其他程序占用的端口时会启动失败。此时可以通过使用`netstat -tunlp`命令检查端口占用情况,然后杀死占用该端口的进程及时释放端口。或者修改httpd的配置文件,将端口修改为未被占用的端口。 2. 配置文件错误 有时httpd服务的配置文件中可能出现错误,例如语法错误或路径错误等等。在启动httpd服务之前,可以使用`apachectl configtest`命令进行检查,如果输出“Syntax OK”,则表示配置文件没有错误。如果出现错误,则需要根据错误提示进行相应修改。 3. 依赖关系问题 如果httpd依赖的其他程序或库缺失,也会导致启动失败。可以通过使用`systemctl status httpd.service`命令来查看httpd服务状态,如果输出“Failed to start”或“Loaded: failed”,则需要检查依赖关系是否完整。 4. SELinux问题 当SELinux启用时,有时会导致httpd服务启动失败。在这种情况下,可以在SELinux上禁用httpd服务,或者修改httpd配置文件解决SELinux相关的问题。 5. 用户权限问题 httpd服务的启动可能需要特定的用户权限。如果使用的用户权限不够,则无法启动。可以尝试使用root用户启动httpd服务,或者根据需要修改相应的用户权限。 ### 回答3: CentOS 7中的Apache HTTP服务器(httpd)是一个常见的Web服务器,如果遇到httpd服务启动失败的情况,可能会影响服务器正常的工作和对外服务的稳定性。本文将提供一些可能会导致httpd服务启动失败的原因,并给出相应的解决方法。 1. 端口被占用 如果端口被其他进程占用,httpd服务就无法启动。可以通过 netstat -tulpn 命令查看端口占用情况,并杀死占用该端口的进程。如果端口被 httpd 服务自身占用,可以通过 systemctl restart httpd 命令重启 httpd 服务;如果是其他进程占用了端口,可以通过 kill 命令杀死该进程或更改 httpd.conf 文件配置,将 httpd 服务的端口改为其他空闲端口,重新启动。 2. 配置文件错误 httpd 服务的配置文件通常是 /etc/httpd/conf/httpd.conf,如果其中存在语法错误、权限问题或者其它配置错误,可能会导致 httpd 服务启动出错。可以通过将 httpd.conf 文件备份后删掉,重新执行 yum install httpd 命令安装 httpd 服务,然后手动修改 httpd.conf 文件,逐个检查每个配置项是否正确,确认无误后重启 httpd 服务。 3. SELinux 问题 SELinux 是 CentOS 7中提供的一种安全模块,它可以对系统文件和应用程序进行安全管控。如果 SELinux 配置不正确,可能会阻止 httpd 服务正常启动。可以通过修改 /etc/selinux/config 文件中 SELINUX=disabled 来暂时关闭 SELinux,然后重新启动 httpd 服务;或者一个更优的方式是,根据日志确定问题原因,使用命令 semanage 或者 setsebool 等工具将相关目录或者配置加入到 SELinux 许可列表中,重新启动 httpd 服务,以恢复服务正常工作。 4. 防火墙问题 如果你的 CentOs 7 服务器启用了防火墙,有可能会导致 httpd 服务启动失败。可以通过检查防火墙相关配置来确定问题原因,解决方案是修改防火墙规则,将端口 80 或者 443 等 httpd 服务需要的端口放行,重新启动 httpd 服务。 总之,当遇到 httpd 服务启动失败时,不要慌张,可以先通过日志或者执行命令查看错误信息,找到错误原因,然后根据错误原因一步一步解决问题。在解决问题过程中注意备份原始配置文件,以免造成不必要的损失。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

从现在开始壹并超

你的鼓励,我们就是hxd

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值