【Backbone: MLP-Mixer】MLP-Mixer: An all-MLP Architecture for Vision

最新推荐文章于 2024-06-16 15:48:01 发布
最新推荐文章于 2024-06-16 15:48:01 发布
阅读量365 收藏
点赞数 1
分类专栏： Transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40731332/article/details/116448171
版权

 Abstract

  • CNN和attention-based结构很棒，但不是必须的。
  • 本文提出MLP-Mixer， 一种基于多层感知机（MLPs）的框架。包含两种layers：（1）channel-mixing MLPs：应用在image patches上，融合某个位置多个通道的特征；（2）token-mixing MLPs：应用在across patches上，融合某个通道多个位置的信息。
  • 效果不错的条件：在大型数据集上训练；或用modern regularization schemes

 

Introduction

  • 随着计算能力的提升，和更大数据集的出现，通常伴随着CV范式的改变，例如：CNN->ViT。ViT延续了长期的变化趋势：（1）去除去除人工设计的视觉特征和归纳偏置；（2）仅依靠初始数据。
  • 本文提出MLP-Mixer框架，它仅需要（1）矩阵乘法；（2）数据布局（reshape和转置）；（3）放缩和非线性变化。
  • Mixer的输入是一组经过线性映射的图片快（tokens），输入格式为：patches x channels。Mixer使用两种MLP layers：（1）channel-mixing MLPs和token-mixing MLPs，具体结构如下：

  • 从CNN的角度看：channel mixing MLPs是1x1卷积；token mixing MLPs是单通道、全感受野、共享权重的卷积；CNN需要额外的pooling或特殊设计用于减少计算量，Mixer则相对比较简单。
  • 尽管它和简单，Mixer在大型数据集（~100M图片）上训练取得了sota成绩（在ILSVRC2012 "ImageNet"取得了87.94%）。在一定规模（~1-10M图片）下和modern regularization techniques（[47, 52]），Mixer仍然取得了不错的成绩。

 

Mixer Architecture

  1. 神经网络通常（1）在给定的空间位置；（2）在不同空间位置间，进行特征融合。CNN用N x N（N > 1）的卷积和pooling实现了（2）。深层神经元通常具有更大的感受野。同时，1x1卷积执行了（1），更大的核会同时执行（1-2），在attention-based框架中，self-attention执行（1-2），而MLP-blocks仅执行（1）。Mixer是将（1）和（2）分别执行。
  2. 输入是S个不重复的图片块，每一个图片块被共享的线性映射到需要的维度C，input table是(S, C)。Mixer有多个layer，每个layer包含两个MLP blocks，分别是token-mixing MLP block和channel-mixing MLP block，并且每个layer的size是固定的。
  3. toking-mixing mlp block的维度选择和输入图片块的数量无关，因此计算复杂度和数量线性相关。channel-mixing MLP block的维度是和patch size无关的，所以复杂度和图片的像素点数量线性相关。
  4. 绑定channel-mixing mlps的参数是个自然选择，因为可以做到位置无关（卷积的显著特征）。
  5. Mixer的每个layer的输入具有相同尺寸，这与特征金字塔设计不同。
  6. 不需要positon embeddings，因为token-mixing MLPs对输入tokens的顺序是敏感的，因此可能学到位置表达。

 

Experiments

在中等、大型数据集上pre-trained，在小型和中型下游分类任务上测试。本文关注：（1）下游任务的准确率；（2）pre-training的计算复杂度；（3）推理时间。

 

 

zzl_1998
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[Mixer]MLP-Mixer: An all-MLP Architecture forvision
Ah丶Weii
05-08 498
1. Motivation In this paper we show that while convolutions and attention are both sufficient for good performance, neither of them are necessary. 2. Contribution We propose the MLP-Mixer architecture (or “Mixer” for short), a competitive but conceptua.
新坑来了！谷歌提出MLP-Mixer：一种用于视觉的全MLP架构
阿木寺的博客
05-05 713
一种仅基于多层感知机（MLP）的体系结构！可比肩并旨在超越成熟的CNN和大火的视觉Transformer的阵营工作，代码即将开源！ PS：这个能引爆一波视觉MLP工作么？也许之后是CNN、Transformer、MLP几大阵营了…谷歌继续挖坑，太强了！ 注1：文末附【Transformer】交流群 注2：整理不易，欢迎点赞，支持分享！ 想看更多CVPR 2021论文和开源项目可以点击： CVPR2021-Papers-with-Code ​ MLP-Mixer: An all-MLP Archi
【模块缝合】【NIPS 2021】MLP-Mixer: An all-MLP Architecture for Vision
最新发布
py今天刷题了吗
06-16 340
这个转置 是什么操作？
MLP-Mixer: AN all MLP Architecture for Vision
blueag1e的博客
02-19 590
S维度就代表空间，C代表同一空间位置。
MLP-Mixer: An all-MLP Architecture for Vision
乐亦亦乐的博客
12-03 404
class FeedForward(nn.Module): def __init__(self, dim, hidden_dim, dropout = 0.): super().__init__() self.net = nn.Sequential( nn.Linear(dim, hidden_dim), nn.GELU(), nn.Dropout(dropout), ...
backbone:后生-实践
06-19
**Backbone.js：构建动态Web应用的基石** Backbone.js 是一个轻量级的JavaScript库，专注于提供模型层（Model）、视图层（View）和路由器（Router）的结构，帮助开发者组织和管理复杂的前端代码。它以MVC（Model-...
第P9周：YOLOv5-Backbone模块实现
12-30
第P9周：YOLOv5-Backbone模块实现
spray-painted-backbone:Scala - 喷涂 - 光滑； bacbone.js ; Redis ; mysql
07-07
这是一个模板项目。 使用 scala/spray/slick 作为api层使用backbone.js作为前端 它在 scala 位中有一个 redis 订阅者，因此您可以在超时时进行回调，它有 mysql，因此您可以保留内容。
backbone-vdom:Virtual-dom 主干视图
07-02
带有 VirtualDom 渲染的 Backbone.Views 外骨骼/骨干视图 虚拟DOM requestAnimationFrame 批处理 委托事件 Webpack JSX/ES6 加载器 安装 make install 跑步 make server make webpack open ...
single-spa-backbone:单spa主干插件
05-08
《单SPA主干插件——single-spa-backbone深度解析》 在当今互联网技术日新月异的时代，前端开发模式也在不断演进。微前端（Microfrontends）作为一种新兴的架构模式，允许开发者将大型应用拆分成多个独立的前端模块...
MLP-Mixer：An all-MLP Architecture for Vision
陈泊舟的博客
07-04 143
文章转自个人服务器：http://bbit.vip/service/main.php?version=2&type=article&id=ZXfHil488162l5G04QGd024K59
1 MLP-Mixer: An all-MLP Architecture for Vision
无偿、有效的解释和解决AI 4 Science中的问题和难点
12-20 7082
论文地址： MLP-Mixer: An all-MLP Architecture for Vision​arxiv.org/abs/2105.01601 1.1 MLP-Mixer原理分析 1.1.1 仅仅靠着MLP就真的无法解决复杂数据集的分类任务吗？ 神经网络主要有三个基本要素：权重、偏置和激活函数。 权重：神经元之间的连接强度由权重表示，权重的大小表示可能性的大小 偏置：偏置的设置是为了正确分类样本，是模型中一个重要的参数，即保证通过输入算出的输出值能不能随便激活。 激活函数：起非线
[NIPS2021]MLP-Mixer: An all-MLP Architecture for Vision
shenlanshenyanai的博客
02-10 1775
卷积神经网络（CNN）是计算机视觉的首选模型。最近，基于注意力的网络（例如ViT）也变得很流行。在本文中，我们表明，尽管卷积和注意力都足以获得良好的性能，但它们都不是必需的。文章介绍了MLP-Mixer，这是一种仅基于多层感知机（MLP）的体系结构。MLP-Mixer包含两种类型的层：一种具有独立应用于图像patches的MLP（即“混合”每个位置特征），另一种具有跨patches应用的MLP（即“混合”空间信息）。 论文地址：https://arxiv.org/pdf/2105.01601.pdf ..
《MLP-Mixer: An all-MLP Architecture for Vision》2021
u010087277的博客
05-11 1630
摘要：卷积网络CNN是计算机视觉中的必用模型。最近，基于注意力机制的网络结构，比如视觉Transformer，也越来越流行。在这篇文章中我们将展示，虽然卷积和注意力机制是获得优良性能的必要结构，但它们都不是必须的。我们提出MLP-Mixer，一个仅仅基于多层感知机(MLPs)的结构。MLP-Mixer包含两种类型的网络层：一种是独立应用于图像patch的多层感知机MLPs(比如 "混合"每个局部特征)。另一个是应用于交叉patches的多层感知机（比如 “混合”空间信息）。当MLP-Mixer在大的数据集上
Day 3: MLP-Mixer: An all-MLP Architecture for Vision
ttppss的博客
05-08 280
本文是关于最新出来的多层感知机的文章，文章的主要贡献如下 作者霸气地说：“尽管卷积和注意力机制目前都取得了足够好的表现，但他们都是没有必要的”，也就是常说的“在座的各位都是XX”。原文：“In this paper we show that while convolutions and attention are both sufficient for good performance, neither of them are necessary.” MLP-Mixer主要是基于古老的多层感知机(MLP)
MLP-Mixer: An all-MLP Architecture for Vision翻译
nopSled
05-27 451
摘要 　　卷积神经网络（CNN）是计算机视觉的首选模型。最近，基于注意力的网络（例如Vision Transformer）也变得很流行。在本文中，我们表明，尽管卷积和注意力都足以获得良好的性能，但它们都不是必需的。我们介绍了MLP-Mixer，这是一种完全基于多层感知器（MLP）的体系结构。MLP-Mixer包含两种类型的层：一种将MLP应用于图像单个patches（即“混合”每个位置特征），另一种将MLP应用到多个patches（即“混合”空间信息）。在大型数据集上进行训练或采用现代正则化方案进行训练时
CSWin Transformer: A General Vision Transformer Backbone with Cross-Shaped Windows
09-09
CSWin Transformer是一种具有交叉形窗口的通用Vision Transformer骨干网络。它是CSDN开发的一种图像模型，旨在改进现有的Vision Transformer架构。传统的Vision Transformer在处理图像时使用了矩形的窗口，而CSWin Transformer引入了交叉形窗口，以更好地捕捉图像中的局部和全局信息。 交叉形窗口允许模型在处理图像时更好地理解不同尺度和方向的特征。它通过在每个位置上引入交叉形窗口，使得模型可以同时关注垂直和水平方向上的特征。这种设计使得CSWin Transformer能够在处理具有不同方向和比例的物体时更具鲁棒性。 此外，CSWin Transformer还采用了其他一些关键技术，如自适应窗口大小和自适应池化。自适应窗口大小允许模型根据输入图像的尺寸动态调整窗口的大小和数量。自适应池化技术能够在处理不同分辨率的特征时保持空间关系，并且有助于提高模型的性能。 总之，CSWin Transformer是一种具有交叉形窗口的通用Vision Transformer骨干网络，旨在改善模型对图像中不同尺度和方向特征的理解能力。它是CSDN开发的一种图像模型，用于处理具有不同方向和比例物体的视觉任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值