5分钟就能学会的简单结构 | MLP-Mixer: An all-MLP Architecture for Vision | CVPR2021

最新推荐文章于 2024-10-11 19:40:11 发布
最新推荐文章于 2024-10-11 19:40:11 发布
阅读量521 收藏 3
点赞数
分类专栏： 深度学习不得不了解的技巧 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34107425/article/details/117664920
版权
  • 文章转自：微信公众号「机器学习炼丹术」
  • 作者：炼丹兄（欢迎交流，共同进步）
  • 联系方式：微信cyx645016617
  • 论文名称：「MLP-Mixer: An all-MLP Architecture for Vision」
  • 论文链接：https://arxiv.org/pdf/2105.01601v1.pdf

「前沿」：最近忙各种各样的事情，更新慢了。抽空写一点。这一篇内容很简单，只需要5min就可以学完。

正文开始

我们提供了MLP-Mixer架构，之后简称Mixer。这是一个有竞争力，但是概念和技术都很简单的结构，并且没有用到卷积和自注意力。

类似于transformer，Mixer模型的输入依然是图片的Patch经过线性映射之后的序列，简单的说就是embedding。是一个形状如同“patches x channels” 这样的一个特征。其中，我们把图片embedding之后的序列，叫做token。

下图是Mixer的宏观结构图：
image.png

Mixer利用了两种MLP层：

  • channel-mixing MLPs：允许不同channels特征之间的交流；
  • token-mixing MLPs：允许不同空间位置之间的交流。
  • 这两个MLP层是交错的。

「图解读」

  • 从图中caption部分可以看到。“Per-patch Fully-connected”我认为就是embedding层，比方说把一个32x32x3的彩色patch图片，全连接映射到128维度的序列。
  • Mixer Layer就是文章提出的主要创新结构。其中，每一个Mixer Layer包含一个token-mixing MLP 和一个channel-mixing MLP，这两个结构都是由两个全连接层和GELU激活函数组成。
  • 我们再来看上图的上面部分，体现了Mixer Layer的细节：首先，假设一个图片被分成了9个patch，然后每一个patch经过embedding，变成了一个128的向量。那么原图经过embedding，最终得到的是9x128这样的一个矩阵。
    1. 这个矩阵先经过LayerNorm，相当于是在128这个维度上进行归一化；
    2. 然后矩阵经过转置，变成128x9的样式；
    3. 经过第一个全联接层，这个MLP应该就是channel-mixing了，因为是对9这个patch维度进行计算；
    4. 然后再转置成9x128，再进行layer norm；
    5. 然后token-mixing channels，在128这个spatial维度上进行计算；
    6. 中间加了两个skip connection。

「这里，我们可以发现，整个结构确实非常简单，回头试试效果去。」

即插即用篇 | YOLOv10 引入 S2 注意力机制 | 《S^2-MLPV2: IMPROVED SPATIAL-SHIFT MLP ARCHITECTURE FOR VISION》
YOLOv8项目贡献者
08-18 219
即插即用篇 | YOLOv10 引入 S2 注意力机制 | 《S^2-MLPV2: IMPROVED SPATIAL-SHIFT MLP ARCHITECTURE FOR VISION》
即插即用篇 | YOLOv8 引入 S2 注意力机制 | 《S^2-MLPV2: IMPROVED SPATIAL-SHIFT MLP ARCHITECTURE FOR VISION》
YOLOv8项目贡献者
03-06 1444
YOLOv8 引入 S2 注意力机制 | 《S^2-MLPV2: IMPROVED SPATIAL-SHIFT MLP ARCHITECTURE FOR VISION》
【MLP-Mixer】核心方法解读
最新发布
weixin_45962681的博客
10-11 962
我们提出MLP-Mixer架构(或简称“Mixer”)，这是一个具有竞争力但在概念和技术上都很简单的替代方案，它不使用卷积或自关注。相反，Mixer的架构完全基于多层感知器(mlp)，这些感知器可以在空间位置或特征通道上重复应用。Mixer仅依赖于基本的矩阵乘法例程、对数据布局的更改（重塑和换位）以及标量非线性。intro：图1描述了Mixer的宏观结构。它接受一系列线性投影图像补丁(也称为令牌)，形状为“patches x channels”表，作为输入，并保持该维度。
[NIPS2021]MLP-Mixer: An all-MLP Architecture for Vision
shenlanshenyanai的博客
02-10 1819
卷积神经网络（CNN）是计算机视觉的首选模型。最近，基于注意力的网络（例如ViT）也变得很流行。在本文中，我们表明，尽管卷积和注意力都足以获得良好的性能，但它们都不是必需的。文章介绍了MLP-Mixer，这是一种仅基于多层感知机（MLP）的体系结构。MLP-Mixer包含两种类型的层：一种具有独立应用于图像patches的MLP（即“混合”每个位置特征），另一种具有跨patches应用的MLP（即“混合”空间信息）。 论文地址：https://arxiv.org/pdf/2105.01601.pdf ..
1 MLP-Mixer: An all-MLP Architecture for Vision
MOL
12-20 7108
论文地址： MLP-Mixer: An all-MLP Architecture for Vision​arxiv.org/abs/2105.01601 1.1 MLP-Mixer原理分析 1.1.1 仅仅靠着MLP就真的无法解决复杂数据集的分类任务吗？ 神经网络主要有三个基本要素：权重、偏置和激活函数。 权重：神经元之间的连接强度由权重表示，权重的大小表示可能性的大小 偏置：偏置的设置是为了正确分类样本，是模型中一个重要的参数，即保证通过输入算出的输出值能不能随便激活。 激活函数：起非线
MLP-Mixer: An all-MLP Architecture for Vision
HHzdh的博客
10-16 3222
摘要 卷积神经网络(cnn)是计算机视觉的首选模型。最近，以注意力为基础的网络，如Vision Transformer也开始流行起来。在本文中，我们证明卷积和注意力对于良好的性能都是足够的，但它们都不是必要的。我们提出了MLP-Mixer，一个专门基于多层感知器(MLPs)的架构。MLP-Mixer包含两种类型的层:一种是独立应用于图像斑块的MLPs(即“混合”每个位置的特征)，另一种是跨斑块应用的mlp(即“混合”空间信息)。在大数据集上或使用现代正则化方案进行训练时，MLP-Mixer...
Yolov5涨点神器：RIFormerBlock助力检测｜CVPR2023｜RIFormer：无需TokenMixer也能达成SOTA性能的极简ViT架构
06-08 951
CVPR2023｜RIFormer：无需TokenMixer也能达成SOTA性能的极简ViT架构，其中RIFormerBlock模块在不同的数据集涨点明显，且创新点十足
MLP-Mixer: AN all MLP Architecture for Vision
blueag1e的博客
02-19 674
S维度就代表空间，C代表同一空间位置。
Day 3: MLP-Mixer: An all-MLP Architecture for Vision
ttppss的博客
05-08 294
本文是关于最新出来的多层感知机的文章，文章的主要贡献如下 作者霸气地说：“尽管卷积和注意力机制目前都取得了足够好的表现，但他们都是没有必要的”，也就是常说的“在座的各位都是XX”。原文：“In this paper we show that while convolutions and attention are both sufficient for good performance, neither of them are necessary.” MLP-Mixer主要是基于古老的多层感知机(MLP)
新坑来了！谷歌提出MLP-Mixer：一种用于视觉的全MLP架构
阿木寺的博客
05-05 742
一种仅基于多层感知机（MLP）的体系结构！可比肩并旨在超越成熟的CNN和大火的视觉Transformer的阵营工作，代码即将开源！ PS：这个能引爆一波视觉MLP工作么？也许之后是CNN、Transformer、MLP几大阵营了…谷歌继续挖坑，太强了！ 注1：文末附【Transformer】交流群 注2：整理不易，欢迎点赞，支持分享！ 想看更多CVPR 2021论文和开源项目可以点击： CVPR2021-Papers-with-Code ​ MLP-Mixer: An all-MLP Archi
《MLP-Mixer: An all-MLP Architecture for Vision》的讲解
qq_42178122的博客
05-24 607
MLP-Mixer: An all-MLP Architecture for Vision 论文地址： https://arxiv.org/abs/2105.01601 可以不使用CNN和transformer，仅仅依靠MLP来解决复杂数据集的分类任务吗？ 《MLP-Mixer: An all-MLP Architecture for Vision》为了解决上诉问题，它仅仅依赖于基础矩阵乘法运算和数据的布局变换 (reshapes and transpositions) ，以及非线性层。结果表明，尽管Mix
[Mixer]MLP-Mixer: An all-MLP Architecture forvision
Ah丶Weii
05-08 543
1. Motivation In this paper we show that while convolutions and attention are both sufficient for good performance, neither of them are necessary. 2. Contribution We propose the MLP-Mixer architecture (or “Mixer” for short), a competitive but conceptua.
MLP-Mixer: An all-MLP Architecture for Vision翻译
nopSled
05-27 495
摘要 　　卷积神经网络（CNN）是计算机视觉的首选模型。最近，基于注意力的网络（例如Vision Transformer）也变得很流行。在本文中，我们表明，尽管卷积和注意力都足以获得良好的性能，但它们都不是必需的。我们介绍了MLP-Mixer，这是一种完全基于多层感知器（MLP）的体系结构。MLP-Mixer包含两种类型的层：一种将MLP应用于图像单个patches（即“混合”每个位置特征），另一种将MLP应用到多个patches（即“混合”空间信息）。在大型数据集上进行训练或采用现代正则化方案进行训练时
MLP-Mixer：An all-MLP Architecture for Vision
陈泊舟的博客
07-04 159
文章转自个人服务器：http://bbit.vip/service/main.php?version=2&type=article&id=ZXfHil488162l5G04QGd024K59
mlp-mixer: an all-mlp architecture for vision
06-28
mlp-mixer是一种全MLP架构，用于视觉任务。它使用多层感知机（MLP）来代替传统的卷积神经网络（CNN）来处理图像。这种架构的优点是可以更好地处理不同尺度和方向的特征，同时减少了计算和内存消耗。它在许多视觉任务...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值