【MLP】——MLP-Mixer理解

最新推荐文章于 2023-04-26 14:09:42 发布
最新推荐文章于 2023-04-26 14:09:42 发布
阅读量1.7k 收藏 5
点赞数 1
分类专栏： MLP 文章标签： 计算机视觉 深度学习 人工智能
原文链接：https://zhuanlan.zhihu.com/p/477837765
版权

论文: https://arxiv.org/pdf/2105.01601.pdf
来自：google
转载自:https://zhuanlan.zhihu.com/p/477837765

在这里插入图片描述

1. 思想

Google ViT团队最近刚提出的一种的CV框架，MLP-Mixer使用多层感知机（MLP）来代替传统CNN中的卷积操作（Conv）和Transformer中的自注意力机制（Self-Attention）。实现特征之间的融合。其主要有两种融合结构。空间融合，通道融合结构。

token-mixing: 允许不同空间位置（token或者patch）进行通信，它们在通道上进行操作，把每一列当做一个输入

channel-mixing: 允许不同通道之间进行通信（在这里，相同patch的信息都存储在了同patch的channel里）

2. 模型结构

2.2 mixer layer

在传统CNN中，可以通过1x1 Conv来实现通道域的信息融合，如果使用大卷积核(N>1), pooling来实现空间信息的融合，同时大卷积核可以实现空间域和通道域的信息融合。

在Transformer中，通过Self-Attention实现空间域，通道信息的信息融合，通过MLP实现通道域信息的融合。

而在MLP-Mixer中，通过Mixer Layer使用MLP先后对列、行进行映射，实现空间域和通道域的信息融合。与传统卷积不同的是，Mixer Layer将空间域和通道域分开操作，这种思想与Xception和MobileNet中的深度可分离卷积相似。

前半部分是空间域（token-mixing），后半部分是通道域（channel-mixing）
在这里插入图片描述
Mixer把输入视为S​个不重叠图像patch，每个patch都被投射到了一个需要的hidden dimension C ，这将生成一个二维的输入表（原始图像是CxWxH三维的，这个是SxC​二维的）。如果输入图像的分辨率是（H,W）,每个patch的分辨率是（P，P），则patch数量S=HW/p^2, 所有的patch都用同样的矩阵进行投影 。

Mixer由多个大小相同的层组成，每一层都有两个MLP block。第一个是token-mixing MLP，它在每一列上进行操作，并且与所有列共享权重。第二个是channel-mixingMLP，它对每一行进行操作，并且与所有行共享权重。每个block都由两个全连接层组和一个对每行输入的非线性操作组成。Mixer层可以被写成：
在这里插入图片描述
网络的计算复杂度是与输入patch的数量线性相关的，不像ViT的线性复杂度。 因为hidden dimension C是独立于patch大小的，所以总体的计算复杂度是与输入图片像素的大小线性相关的，就像CNN一样。

将channel-mixing MLP的参数（在每一层内）绑定是一种自然的选择，它提供了位置不变性，这是卷积的一个显著特征。然而，跨通道输入参数的情况要少得多。例如，在一些CNN中使用的可分离卷积，将卷积独立于其他通道应用于每个通道。然而，在可分离卷积中，不同的卷积核被应用于每个通道，不同于Mixer中的Token mixing MLP，其对所有通道共享相同的核（全感受野）。当增加隐藏维度或序列长度时，参数绑定可防止体系结构增长过快，从而显著节省内存。令人惊讶的是，这种选择并不影响实证绩效果。

如果在2D图像的角度来看，channel-mixing其实就等价于 1x1的卷积，二者的参数量也是一样的：in_channel x out_channel

Mixer的每一层都接受相同大小的输入，这种各向同性（isotropic）的设计最类似与Transformers或其他领域的深层RNN，它们也使用固定的宽度。这与大多数CNN不一样，CNN具有金字塔结构：更深的层具有更低分辨率的输入和更多的通道。值得注意的是，这些只是典型的设计，其他组合也存在，比如isotropic ResNets和金字塔ViTs。

现在有一些工作在尝试单尺度特征的可能性了。这和CNN还是有很大区别的

与ViT不同，Mixer不使用position embedding因为token-mixing MLP对输入token 的顺序很敏感。最后，Mixer用一个标准的分类头：全局池化层后面紧跟一个线性分类器。

3. 实验

我们在一系列中小型下游分类任务中评估了MLP混合器模型的性能，这些模型使用中大型数据集预先训练。我们对三个主要数量感兴趣：（1）下游任务的准确性；（2） 预训练的总计算成本，在上游数据集上从头开始训练模型时，这一点很重要；（3） 测试时间吞吐量，这对从业者很重要。我们的目标不是展示最先进的结果，而是要表明，一个简单的基于MLP的模型与当今最好的基于卷积和注意力的模型具有竞争力。
在这里插入图片描述
在结果上精度基本和VIT相当，比ResNet CNN更好。
在这里插入图片描述
预训练数据的影响
Mixer从不断增长的数据集大小中获益更多。可能前期的点更低。
**在这里插入图片描述**
数据排列的影响
pixel shuffle对二者的影响 Mixer < CNN
在这里插入图片描述

特征可视化
对第一层，第二层，第三层的token-mixing MLP权重进行可视化，一幅图是196个值。观察到：

  • token-mixing学到更多的全局信息（没有物体的轮廓）
  • 层越深，学到的东西越难以解释
    在这里插入图片描述

reference

农夫山泉2号
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
浅谈 Mlp-Mixer（pytorch and keras）
__不想写代码__的博客
07-11 3723
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码
探索MLP-Mixer: PyTorch实现的新型神经网络架构
最新发布
gitblog_00083的博客
04-25 280
探索MLP-Mixer: PyTorch实现的新型神经网络架构 项目地址:https://gitcode.com/lucidrains/mlp-mixer-pytorch 在深度学习领域，模型创新始终是推动进步的关键动力之一。最近，一种名为MLP-Mixer的新颖网络结构引起了广泛的关注。这个项目由lucidrains在GitCode上分享，提供了一个纯PyTorch实现的MLP-Mixer版本，...
基于点云的深度学习：点云里的mlp
datouhuitoutu950的博客
04-26 1849
点云学习中的MLP
Keras 入门课1 -- 用MLP识别mnist手写字符
史丹利复合田的博客
12-18 3526
Keras 入门课1： 使用Keras写一个mlpmlp就是multilayer perceptron，多层感知机。数据集用的是经典的mnist，数字分类问题。首先导入keras的各种模块keras.datasets 里面包含了多种常用数据集，如mnist，cifar10等等，可以实现自动下载和解析等等。keras.models 里面有最核心的模型结构，如顺序模型结构Sequentialkeras.
【动手学深度学习】多层感知机（MLP）
Ya_nnnG的博客
01-15 1158
【动手学深度学习】多层感知机（MLP）
Shared MLP的作用是什么？
Adam897的博客
09-26 2443
网络首先将点云看成一幅Nx3的单通道图片输入，然后通过1x3x1的卷积核将这幅点云的宽度变为1。对应到右侧的神经元结构图，就是将3个输入神经元的信息整合后传到下层神经元的过程，64个神经元对应64个卷积核。Shared MLP 是点云处理网络中的一种说法，强调对点云中的每一个点都采取相同的操作。其本质上与普通MLP没什么不同，其在网络中的作用即为MLP的作用：特征转换、特征提取。MLP是多层感知机的缩写，在三维点云处理网络中经常能看到一层Shared MLP，下面是我关于其作用的分析。
MLP-Mixer [代码实现（基于MNIST）]
昔风不起，唯有努力生存！
05-24 2518
本文基于lucidrains在gitHub上开源的mlp-mixer-pytorch实现mlp-mixer在MNIST数据上的demo。 MLP-Mixer: An all-MLP Architecture for Vision[PDF] MLP-Mixer简介和一些想法 [CSDN博客] 新坑来了！谷歌提出MLP-Mixer：一种用于视觉的全MLP架构[CSDN博客] lucidrains/mlp-mixer-pytorch [pytorch 实现] lucidrains/mlp-mixer-py.
mlp-mixer-pytorch-main.zip
09-29
**标题解析：** "mlp-mixer-pytorch-main.zip" 这个文件名暗示了这是一个与多层感知机（MLP）相关的项目，且它使用PyTorch框架实现。"main"通常指的是项目的主体部分，暗示我们可能将找到一个核心的MLP模型实现。 *...
Python库 | mlp-mixer-keras-0.0.2.tar.gz
04-11
资源分类：Python库 所属语言：Python 资源全名：mlp-mixer-keras-0.0.2.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
GoogleAI提出全新解决方案大提速只需MLP就在ImageNet达到SOTA.docx
10-26
mixer-layer 由两个 MLP 组成：token-mixing MLP block 和 channel-mixing MLP block。token-mixing MLP block 操作的维度是 tokens，意味着对所有 tokens 的同一特征做 MLP；channel-mixing MLP block 操作的维度是...
2202年了，继续大比拼ViT、MLP、CNN结构有意义吗？？.rar
10-18
在深度学习中，MLP-Mixer模型最近受到关注，它通过堆叠多个MLP层和通道混合层来处理图像，试图减少对空间依赖性的依赖。MLP-Mixer简化了架构，减少了计算量，但在某些任务上可能无法与ViT或CNN的性能相媲美。 CNN，...
2202年了，继续大比拼ViT、MLP、CNN结构有意义吗？？.pdf
08-12
总结来说就是提出了一种仅仅需要多层感知机的框架——MLP-Mixer，无需卷积模块、注意力机制，即可达到与 CNN、Transformer 相媲美的图像分类性能。 众所周知，CV 领域主流架构的演变过程是 MLP->CNN->Transformer。...
神经网络和多层感知机MLP
weixin_43931548的博客
07-11 1067
神经网络和多层感知机MLP 1. 感知机到神经网络，神经网络的基本结构 1.1 感知机 感知机模型是将若干输入加权求和并通过激活函数后输出的模型： 感知机可以表示为线性变换+非线性激活函数： z=∑i=1mwixi+bz=∑_{i=1}^{m}w_ix_i+bz=∑i=1m​wi​xi​+b $sign(z) = \left{ \begin{aligned} -1　 　z & < &0 \ 1　　 z & >= &0 \end{aligned} \right
MLP-Mixer复现并探究位置编码的影响
m0_63642362的博客
07-23 608
MLP-Mixer复现并探究位置编码对MLP-Mixer精度的影响
MLP-Mixer简介和一些想法
gz7seven
05-07 7764
    最近Google Research的Brain Team又发表了重磅文章，纯MLP架构------MLP-Mixer，这个团队即原来的ViT团队，实力强横。作者通过与ViTs模型（包含ViT、HaloNet、BiT）和CNN模型（NFNet、MPL、ALIGN等）做了对比，效果还是不错的。 总体设计思路 整体架构如下图所示：     其整体思路为：先将输入图片拆分成多个patches（每个patche之间不重叠），通过Per-patch Fully-connected层的操作将每个patch转换成
从特征融合的视角设计图神经网络的拓扑结构
Paper weekly
05-06 2482
©作者 | 卫岚宁，赵欢，贺志强论文标题：Designing the Topology of Graph Neural Networks: A Novel Feature Fusion Perspective论文链接：https://arxiv.org/pdf/2112.14531.pdf代码链接：https://github.com/AutoML-Research/F2...
MLP-Mixer: An all-MLP Architecture for Vision
HHzdh的博客
10-16 3074
摘要 卷积神经网络(cnn)是计算机视觉的首选模型。最近，以注意力为基础的网络，如Vision Transformer也开始流行起来。在本文中，我们证明卷积和注意力对于良好的性能都是足够的，但它们都不是必要的。我们提出了MLP-Mixer，一个专门基于多层感知器(MLPs)的架构。MLP-Mixer包含两种类型的层:一种是独立应用于图像斑块的MLPs(即“混合”每个位置的特征)，另一种是跨斑块应用的mlp(即“混合”空间信息)。在大数据集上或使用现代正则化方案进行训练时，MLP-Mixer...
MLP-Mixer论文与代码阅读
qq_42208244的博客
09-23 628
没有采用convolution以及attention的网络结构，纯粹使用MLP作为主要架构。
学习笔记 | 多层感知机（MLP）、Transformer
热门推荐
LiRongLu_的博客
08-17 1万+
多层感知机（MLP）、Transformer、Memory Bank
mlp-mixer pytorch
09-13
MLP-Mixer是一种基于多层感知器（MLP）和混合器（Mixer）的图像分类模型。它的主要思想是通过对图像的不同位置进行局部特征提取，然后通过全局特征的混合来获得最终的特征表示。MLP-Mixer的原理和代码可以在mlp-mixer-pytorch库中找到。 要使用mlp-mixer-pytorch库，你需要先安装它。可以通过在Anaconda Prompt中输入以下命令来安装：pip install mlp-mixer-pytorch。 需要注意的是，mlp-mixer-pytorch库默认是没有加载预训练权重的。如果你有MLP-Mixer的预训练权重，可以在创建模型后加载这些权重。 关于MLP-Mixer的更多信息，你可以参考提供的博客链接，其中包含了MLP-Mixer网络结构的完整代码。 希望这些信息能帮助到你。如果你还有其他问题，请随时问我。<span class="em">1</span><span class="em">2</span><span class="em">3</span>

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值