华为&北大提出Hire-MLP：分层重排MLP，性能高达83.4%！

最新推荐文章于 2024-05-03 18:15:56 发布
最新推荐文章于 2024-05-03 18:15:56 发布
阅读量544 收藏 4
点赞数 1
文章标签： 计算机视觉 人工智能 机器学习 深度学习 xhtml

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

本文转载自：AIWalker  |  作者：Sky

论文：https://arxiv.org/abs/2108.13341

本文是华为诺亚&北大&悉尼大学在MLP方面的工作，针对MLP-Mixer存在的不灵活性与空间信息提取不够高效等问题，提出内区域重排与跨区域重排机制对MLP-Mixer进行改革。所提Hire-MLP在ImageNet数据集上取得了SOTA性能。比如Hire-MLP-L取得了83.4%的top1精度，超过了其他Transformer与MLP架构，同时具有更佳的精度-吞吐量均衡。

Abstract

本文提出一种简单且有效的分层重排(Hierarchical Rearrangement)MLP架构Hire-MLP。已有MLP架构(如MLP-Mixer)对于不同图像尺寸的输入不够灵活，对于捕获空间信息不够高效。

Hire-MLP通过引入分层重排聚合全局与局部空域信息对已有MLP架构进行了改革，值得一提的是：Hire-MLP对于下游任务非常友好。具体来说，内区域(inner-region)重排捕获局部信息；为促进跨区域信息通信并捕获全局上下文信息，我们还提出了跨区域(cross-region)重排，它沿空间方向对所有tokens进行训练移位。所提Hire-MLP基于通道混叠MLP与重排操作而构建，因此具有高灵活性与高推理速度。

实验结果表明：Hire-MLP在ImageNet-1K基准数据集上取得了SOTA性能。比如，Hire-MLP取得了83.4%的top1精度 ，超过了其他Transformer与MLP模型，具有更好地精度-吞吐量均衡。

Method

上图给出了本文所提Hire-MLP整体架构示意图，它通过堆叠多个Hire-MLP模块构成而成。类似MLP-Mixer，每个Hire-MLP包含两个子模块：Hire与Channel-MLP，分别用于进行空间信息与通道信息聚合。Hire-MLP可以描述如下：

相比MLP-Mixer，Hire-MLP的主要区别在于：采用Hire模块替代了MLP-Mixer中的token-mixing MLP模块。

Hierarchical Rearrangement Module

MLP-Mixer中的token-mixing MLP采用全连接层捕获跨位置信息，它采用全部token作为输入。由于全连接层的维度是固定的，因此MLP-Mixer无法处理变长序列，故下游迁移能力弱。此外，token-mixing操作仅捕获了厂区信息，而忽视了局部信息，而局部信息对于CV任务非常重要。

针对上述问题，我们提出了分层重排(Hierarchical Rearrangement, Hire)替换MLP-Mixer中的token-mixing MLP。每个Hire模块通过内区域重排聚合局部信息，通过跨区域重排聚合全局信息。所提Hire模块天然的可以处理变长序列。

Region Partition  我们首先将特征拆分为多个区域，在每个区域进行内区域重排。特征可以沿宽/高方向进行拆分。以高维度内区域重排为例，输入特征 被拆分为g组： 。每个区域 包含h个高方向的token，注： 。

Inner-Region Rearrangement  对于特征 来说，不同token间通过内区域重排操作均等通信。具体来说，我们沿通道维度将区域内不同token进行拼接得到重排特征 ，见上图a。然后重排特征将被送入到MLP模块 (它由两个两个bottleneck形式的线性投影层构成，即特征先降维再升维)进行信息混叠生成输出特征 。最后输出特征复原到原始形状得到 。宽方向的内区域重排与信息混叠操作类似，可参考下图b，故不再赘述。

Cross-Region Rearrangement  通过内区域重排，输出token仅包含了局部区域的信息聚合，感受野与区域尺寸有关，感受野相对有限。我们又设计了一个跨区域重排，它通过移位操作进行跨区域信息聚合。

上图给出了高方向跨区域重排示意图。它通过沿特定方向给定步长s循环移位token实现，此时局部覆盖的token会发生变化。为得到全能局感受野，跨区域重排会插入在内区域重排之前，见上面的Figure1。类似的，跨区域重排同样需要复原，见上图。宽方向的跨区域重排与复原见下图，不再赘述。

**Hire Module ** 考虑到输入特征同时包含高、宽维度，信息通讯演两个方向通过两个分支实现。受启发于ResNet、ViP，我们还引入了一个不带空域通信的分支。也就是说，输入特征首先被送入到三个分支分别处理，然后将三分支处理结果相加作为输出，可参见下图。

Overall Architecture

下表给出了不同复杂度Hire-MLP的配置信息，它采用金字塔类型架构。整个网络包含四个阶段，输出分辨率从 到 。金字塔架构包含不同层级的空间特征，便于向下游任务迁移。

Experiments

上图给出了所提Hire-MLP与其他方案的性能对比，从中可以看到：

  • Hire-MLP-Smalle取得了81.8%的精度，而计算量仅为4.2G Flops，优于其他MLP方案。相比AS-MLP、CycleMLP，所提Hire-MLP性能更佳，同时不需要复杂的移位操作或者全连接层变种操作。

  • Hire-MLP-B与Hire-MLP-L分别取得了83.1%与83.4%的精度，而计算量分别为81.G与13.5G。

  • 相比DeiT、Swin以及PVT，所提方案具有更快的推理速度；

  • 相比RegNetY，所提方案具有更高的精度，同时具有相似的模型大小和复杂度。

  • Happy语：相比AS-MLP，Hire-MLP好像并没有什么优势，性能相当，速度反而AS-MLP更快 。

上表对比了区域划分中区域尺寸的影响，从中可以看到：浅层需要更大的区域尺寸 ；但过大会导致性能下降。我们认为：Bottleneck结构中可能存在信息损失。

上表对比了跨区域重排中的步长s的影响，从中可以看到：不进行移位对性能会有影响，说明了移位的重要性 。

上表对比了不同padding方式的影响，从中可以看到：Circular Padding更适合于所提Hire模块 。

上表对比了Hire模块中不同成分的影响，从中可以看到：用于捕获局部信息的内区域重排最重要 ；跨区域重排次之。

上表比价了不同跨区域信息通讯的方案，可以看到：移位方式取得了比置换更优的性能，这说明：移位操作可以更好的保持相对位置信息。

吐槽时刻

首先，看上表。从Hire-MLP与AS-MLP的对比来看，Hire-MLP并未看到明显优势。精度基本相当，但AS-MLP的推理速度明显更快啊 ，这个论文并没有提到。原文是这样描述的：

When compared to recently proposed AS-MLP and CycleMLP, our Hire-MLP can obtain slightly better performances without any complicated shift oprations or variants of fully connected layer.

上图是AS-MLP的移位操作，再回过头来看看Hire-MLP的移位，可参考前面的图示。都是类似的移位操作，AS-MLP咋就变成了“complicated shift oprations”？ 不懂！

我们再来看一下ViP与Hire-MLP的差异，见上图。事实上，ViP中也有Hire-MLP中的内区域重拍类似的操作，称之为H-C Permute。但从这一点来看，Hire-MLP中的内区域重排与ViP并无本质区别 。但论文并未对两者的关联进行对比说明，全文只是提到了这样一句：

Inspired by the shortcut in ResNet and ViP, an extra branch withoutspatial communication is alse added ...

至于说指标对比，ViP中对应的模块只用了一个Linear，而Hire模块则用了两个Lienar，难说表中0.2-0.3%的性能提升有多少是来自额外的一个Linear。从ViP与Hire-MLP的对比来看，能看到的改进只有跨区域重排 这一块了。

除此之外，论文前面一直在强调MLP-Mixer架构无法向下游任务迁移，Hire-MLP适合向下游任务迁移，但实验部分并没有向下游任务迁移的实验。这个....

最后吐槽一下：华为的开源速度真的有点慢啊，7月份的CMT尚未开源，Hire-MLP又待何期？AI的方法每周都会出一堆，不开源很难让人follow。

以上仅为笔者学习Hire-MLP过程中的一点疑惑，不一定正确，仅供参考。

ICCV和CVPR 2021论文和代码下载

后台回复：CVPR2021，即可下载CVPR 2021论文和代码开源的论文合集

后台回复：ICCV2021，即可下载ICCV 2021论文和代码开源的论文合集

后台回复：Transformer综述，即可下载最新的两篇Transformer综述PDF

重磅！Transformer交流群成立

扫码添加CVer助手，可申请加入CVer-Transformer微信交流群，方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。

一定要备注：研究方向+地点+学校/公司+昵称（如Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲长按加小助手微信，进交流群

▲点击上方卡片，关注CVer公众号

整理不易，请点赞和在看

Amusi（CVer）
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深度学习之图像分类（三十）-- Hire-MLP网络详解
木卯_THU的博客
10-20 1724
深度学习之图像分类（三十）Hire-MLP网络详解 目录深度学习之图像分类（三十）Hire-MLP网络详解1. 前言2. Hire-MLP2.1 Hire-MLP Block2.1.1 Inner-Region2.1.2 Cross-Region2.1.3 特征融合2.1.4 HireMLP 和 ViP，AS-MLP 的区别？2.2 整体网络结构3. 消融实验4. 总结与反思5. 代码 一晃都学习了三十个网络了，时间过得真快。本次学习华为提出的 Hire-MLP，依然是通过旋转特征图，将不同位置的特征对齐到
论文阅读笔记 | MLP系列——MLP部分汇总（Cycle-MLP，Hire-MLP，Sparse-MLP，ConvMLP）
Clichong
11-30 2071
如有错误，恳请指出。 这篇博客是一篇归纳总结性的博客，对几篇MLP结构文章进行汇总。 文章目录1. Cycle-MLP2. Hire-MLP3. Sparse-MLP4. ConvMLP 1. Cycle-MLP 出发点：结合层级结构来适应可变的图像尺寸，减少计算复杂度 Cycle FC block大体结构上与MLP-Mixer类似，继承了Channel FC的优点，可以接受任意尺度的大小处理接受任意分辨率的输入，同时改进了Spatial FC进行空间全局上下文聚合消耗计算量大的缺点，提出了阶梯式风格.
数学遇上人工智能，深度学习架构迎来最强挑战者 KAN，MLP 的时代结束了？
最新发布
AI科技大本营
05-03 7141
多层感知器（MLP, Multilayer Perceptron）作为人工神经网络的一个基本架构，一直在历史上扮演着至关重要的角色。MLP 可以被视为深度学习领域的“基石”或“基础构件”，它的意义在于：基础模型：MLP 作为最早被广泛研究和应用的神经网络模型之一，是许多复杂深度学习架构的起点和基础。它奠定了神经网络能够解决非线性问题的基础，是理解更高级神经...
Vision MLP之Hire-MLP: Vision MLP via Hierarchical Rearrangement
画心
10-09 345
Hire-MLP: Vision MLP via Hierarchical Rearrangement 原始文档：https://www.yuque.com/lart/papers/lbhadn 这篇文章非常好读，没有复杂的单词和句式，从头看到尾非常顺畅。非常喜欢这样的写作风格。 从摘要了解文章 This paper presents Hire-MLP, a simple yet competitive vision MLP architecture via hierarchical rearrangem
《Three things everyone should know about Vision Transformers》
weixin_43994864的博客
03-21 1897
论文链接：https://arxiv.org/pdf/2203.09795.pdf 代码链接：无 1. 动机 虽然视觉Transformer已经取得了相当大的进展，但对其设计和训练程序的优化只进行了有限的探索 2. 贡献 这篇论文提供了三种关于训练视觉Transformer的见解： 并行的视觉Transformer。提出了一个非常简单的方法来实现vit。从如下所示的顺序体系结构开始，作者通过成对地重组相同的块来并行化体系结构，这可以用于任何不同数量的并行块。这将产生具有相同数量参数和计算的体系结构，同时.
MLP在2021-2022年的发展
weixin_37707670的博客
05-18 408
MLP-Mixer: An all-MLP Architecture for Vision ConvMLP: Hierarchical Convolutional MLPs for Vision VISION PERMUTATOR: A PERMUTABLE MLP-LIKE ARCHITECTURE FOR VISUAL RECOGNITION Sparse MLP for Image Recognition: Is Self-Attention Really Necessary?..
7种视觉MLP整理（上）
weixin_45657478的博客
07-15 1780
本文介绍4种视觉MLP，包含EANet、MLP-Mixer、CycleMLP和gMLP。
卷积神经网络的改进方向
weixin_43914340的博客
07-01 1256
卷积神经网络的过程大概是这样的：线性变换（卷积）非线性变换（激活函数）减少参数（池化）更新线性变换中用到的参数（反向传播）反向传播我看的比较少，以后看了的话再补充。CNN通过模型进行特征提取，提取的方法就是更新参数，通过BP（正向和反向传播）更新参数，如果这个地方重要，那么参数就大点，如果不重要，参数就小点，甚至取0。本质上也算一种特征选择方法，然后将选择出来的特征拿去分类。所以可以看出来神经网络里面，参数是最重要的一个东西。改进卷积神经网络有这么几个方向：1.向前传播相关。
多层感知机（MLP）——简介
m0_46928770的博客
01-12 1万+
输入层—>隐藏层"""注释：这是定义隐藏层的类，首先明确：隐藏层的输入即input，输出即隐藏层的神经元个数。输入层与隐藏层是全连接的。假设输入是n_in维的向量（也可以说时n_in个神经元），隐藏层有n_out个神经元，则因为是全连接，一共有n_in*n_out个权重，故W大小时(n_in,n_out),n_in行n_out列，每一列对应隐藏层的每一个神经元的连接权重。b是偏置，隐藏层有n_out个神经元，故b时n_out维向量。
【学者风采】Cong Wang（王聪）
AI_Conf的博客
12-30 1762
【学者风采】Cong Wang（王聪），香港城市大学计算机科学系教授、博士生导师。目前的研究兴趣包括：云计算背景下的外包数据与计算安全、区块链与去中心化应用、新兴互联网架构中的网络安全、多媒体安全以及大数据和物联网背景下的隐私增强技术。他是香港青年科学院的创始成员之一，于2017年获得杰出导师奖，2016年获得香港城市大学校长奖，也是2017年IEEE ICDCS最佳学生论文奖、2018年IEEE ICPADS最佳论文奖、2015年MSN和2009年中国互联网最佳论文奖的联合获得者。他的研究得到了多个政府研
【华人学者风采】张殷乾 南方科技大学
AI_Conf的博客
04-07 814
【华人学者风采】张殷乾，南方科技大学计算机科学与工程系教授。研究领域为体系结构安全、软件和系统安全、分布式系统和应用安全、安全与人工智能、安全系统的形式化验证等。研究目标为解决云计算、物联网、区块链等关键领域的可信与安全问题，为数据隐私、智能终端、金融科技、车载系统等应用场景提供技术支持。曾获奖项有：北美计算机华人学者协会明日之星奖，2019；IEEE MICRO Top Picks提名，2019；IEEE计算机体系结构快报最佳论文，2019；俄亥俄州立大学计算机科学与工程系杰出教学奖， 2019；俄亥俄州
全连接神经网络 MLP
热门推荐
m0_64881386的博客
03-31 3万+
全连接神经网络–MLP 全连接神经网络，又叫多层感知机，是一种连接方式较为简单的人工神经网络，是前馈神经网络的一种。 MLP的神经网络架构 网络架构为： 通过输入层，隐藏层，输出层三个网络层组成，其中隐藏层可以有多层。 BP传播的原理 梯度下降法 正向传播，对网络层的输出进行传播，反向传播，对输入的梯度进行传播。 输出层： 偏置的梯度 权重的梯度 输入的梯度 中间层： 偏置的梯度 权重的梯度 输入的梯度 网络层 下表 神经元数量 输入层 i l 中间层 j m 输出层 k
全网首篇深度剖析PoolFormer模型，带你揭开MetaFormer的神秘面纱
AI浩
12-29 2220
这篇文章详细的介绍了PoolFormer模型，我是结合论文和官方的代码理解的，如果有不对的地方，欢迎大家指出来。
CNN、Transformer、MLP三大架构之战！经验性分析！
阿木寺的博客
12-30 1951
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：GiantPandaCVViT的兴起挑战了CNN的地位，随之而来的是MLP系列方法。三种架构各有特点，为了公平地...
S2MLPv2论文复现——S2MLP改进版
m0_63642362的博客
07-16 672
S2MLPv2是百度提出的用于视觉的空间位移 MLP 架构，相较于其之前提出的S2MLPv1，S2MLPv2 的修改点主要在于三处：金字塔结构、分三类情况进行考虑、使用Split Attention
MLP-Mixer:面向视觉的全mlp架构
qq_45745941的博客
07-26 479
卷积神经网络(cnn)是计算机视觉的首选模型。最近，基于注意力的网络，如VIT，也变得流行起来。在本文中，我们证明了虽然卷积和注意力对于良好的性能都是足够的，但它们都不是必需的。我们提出了MLP-Mixer，一种完全基于多层感知器(mlp)的架构。MLP-Mixer包含两种类型的层:一种是独立应用于图像补丁的mlp(即“混合”每个位置的特征)，另一种是跨补丁应用的mlp(即“混合”空间信息)。
pyspark分类算法之多层感知机神经网络分类器模型实践【MLPClassifier】
Together_CZ的博客
06-21 4169
继上文的集成学习模型之后，本文实践使用的pyspark提供的多层感知机神经网络模型，这是一种比较简单但是却又很重要的神经网络模型。MLP是一种前向结构的人工神经网络，映射一组输入向量到一组输出向量。MLP可以被看做是一个有向图，由多个节点层组成，每一层全连接到下一层。除了输入节点，每个节点都是一个带有非线性激活函数的神经元（或称处理单元）。一种被称为反向传播算法的监督学习方法常被...
mlp-mixer pytorch
09-13
MLP-Mixer是一种基于多层感知器（MLP）和混合器（Mixer）的图像分类模型。它的主要思想是通过对图像的不同位置进行局部特征提取，然后通过全局特征的混合来获得最终的特征表示。MLP-Mixer的原理和代码可以在mlp-mixer-pytorch库中找到。 要使用mlp-mixer-pytorch库，你需要先安装它。可以通过在Anaconda Prompt中输入以下命令来安装：pip install mlp-mixer-pytorch。 需要注意的是，mlp-mixer-pytorch库默认是没有加载预训练权重的。如果你有MLP-Mixer的预训练权重，可以在创建模型后加载这些权重。 关于MLP-Mixer的更多信息，你可以参考提供的博客链接，其中包含了MLP-Mixer网络结构的完整代码。 希望这些信息能帮助到你。如果你还有其他问题，请随时问我。<span class="em">1</span><span class="em">2</span><span class="em">3</span>

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值