DL-Paper精读：MLP-Mixer

最新推荐文章于 2024-04-25 09:58:32 发布
最新推荐文章于 2024-04-25 09:58:32 发布
阅读量317 收藏 1
点赞数
分类专栏： paper阅读 文章标签： 机器学习 人工智能 算法 计算机视觉 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/li6016265/article/details/117486491
版权
本文深入解析谷歌提出的MLP-Mixer模型，该模型以纯MLP架构在计算机视觉任务中取得令人瞩目的成绩。文章介绍了其网络结构，包括Token-Mixing MLP和Channel-Mixing MLP，以及在ImageNet上的实验结果，展示了在精度、训练时间和推理吞吐量之间的平衡。尽管精度未达SOTA，MLP-Mixer仍引发业界对MLP复兴的讨论，并为未来研究提供新思路。
摘要由CSDN通过智能技术生成

MLP-Mixer: An all-MLP Architecture for Vision

Paper
（大厂论文总是不走寻常路，这篇总结暂且不遵循以往的阅读模式）
近期，谷歌新发布了一篇论文《MLP-Mixer》，号称使用纯MLP结构，便能在ImageNet上达到sota的结果。一石激起千层浪，很快清华、牛津、facebook等也相继发布了类似的工作，虽然没有像谷歌一样号称纯MLP取代CNN和Transformer。但也不由得让业界惊呼，MLP的时代又回来了？CV领域的发展历程，MLP -> CNN -> Transformer -> MLP 的圈貌似已经成型。
针对谷歌这篇MLP-Mixer的争议较多，暂且不讨论，首先来关注一下它的内容。

网络结构

整体结构如下，非常简洁清晰：input -> Nx(Mixer-MLP) -> Classfication Head 三部分。类似于ViT的结构，主要的区别就是encoder的模块改换为Mixer。
在这里插入图片描述
Classfication Head采用常规的 Global avg_pooling+FC来实现。Input采用ViT中的做法，将2-D图像分patch并映射，转换为（S×C）的矩阵，其中S为patc

最低0.47元/天 解锁文章
星月野
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
第54步 深度学习图像识别：MLP-Mixer建模（Pytorch）
qq_30452897的博客
07-24 1640
第54步 深度学习图像识别：MLP-Mixer建模（Pytorch）
浅谈 Mlp-Mixer（pytorch and keras）
__不想写代码__的博客
07-11 3760
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码
MLP三部曲（MLP-Mixer -＞ gMLP -＞ MAXIM）——其一
lt1103725556的博客
04-30 2694
其一：MLP-Mixer 参考一文教你彻底理解Google MLP-Mixer（附代码） - 月球上的人的文章 - 知乎 https://zhuanlan.zhihu.com/p/372692759 论文链接：https://arxiv.org/abs/2105.01601 先看总体结构： 乍一看和Vit特别像，先把图片分Patch，然后拉平过全连接变成Embedding。 ...
深度学习之图像分类（二十一）-- MLP-Mixer网络详解
木卯_THU的博客
09-28 1万+
深度学习之图像分类（二十一）MLP-Mixer网络详解 目录深度学习之图像分类（二十一）MLP-Mixer网络详解1. 前言2. MLP-Mixer 网络结构3. 总结4. 代码 继 Transformer 之后，我们开启了一个新篇章，即无关卷积和注意力机制的最原始形态，全连接网络。在本章中我们学习全连接构成的 MLP-Mixer。（仔细发现，这个团队其实就是 ViT 团队…），作为一种“开创性”的工作，挖了很多很多的新坑，也引发了后续一系列工作。也许之后是 CNN、Transformer、MLP 三分天下
论文阅读笔记 | MLP系列——MLP-Mixer
Clichong
11-15 3192
如有错误，恳请指出。 paper：MLP-Mixer: An all-MLP Architecture for Vision code：https://github.com/google-research/vision_transformer 摘要： 研究人员表明，尽管卷积和注意力都足以获得良好的性能，但它们都不是必需的。为此，作者提出了MLP-Mixer，一种专门基于多层感知机的体系结构。MLP-Mixer包含两种类型的层：一种是独立于每个patch的mpl结构（既混合每个位置的特征）；另外一种是跨.
pso-mlp:MLP神经网络的粒子群优化
04-18
“pso-mlp:MLP神经网络的粒子群优化”这个标题表明，这是一个关于使用粒子群优化（PSO）算法来改进多层感知器（MLP）神经网络的项目。粒子群优化是一种全局优化算法，常用于解决复杂的优化问题，如神经网络的权重...
matlab运行代码暂停-mlp-java:mlp-java
05-27
mlp-java(机器学习平台后台，现暂不公开) 项目描述  实现傻瓜式、无代码机器学习平台，减少在机器学习任务中代码编写造成时间的消耗。通过Java语言实现对任务服务集群的调度来完成机器学习任务。 涉及语言  Java、...
matlab代码粒子群算法-MLP-optimizer:MLP优化器
05-27
matlab代码粒子群算法MLP优化器 这是一个简单的Matlab代码，用于使用不同的优化算法训练多层感知器（MLP）网络。 Availale优化器： 多诗词优化器（MVO） 粒子群优化（PSO） 遗传算法（GA） 基于生物地理的优化（BBO...
baseball-scatterplot:MLP 获胜和出勤
06-21
【baseball-scatterplot: MLP 获胜和出勤】是一个基于JavaScript的网络应用程序模板，主要利用jQuery和Bootstrap框架来创建一个数据可视化示例。在这个项目中，开发者可能旨在通过散点图展示棒球比赛中多层感知器...
附代码 MLP-Mixer: An all-MLP Architecture for Vision论文解读
weixin_44543648的博客
04-09 1877
MLP-Mixer: An all-MLP Architecture for Vision论文解读 参考连接：https://blog.csdn.net/weixin_44855366/article/details/120796804 摘要： 在不使用卷积或自我注意情况下，我们提出了MLP-Mixer，一个专门基于多层感知器(MLPs)的架构。MLP-Mixer包含两种类型的层：一种是将MLPs独立应用于image patch（即“混合”位置特征），另一种是跨patch应用的MLPs（即“混合”空间信息）
[全连接神经网络]Transformer代餐，用MLP构建图像处理网络
就随便写写....
01-20 2029
Vision MLP合集
MLP-Mixer:面向视觉的全mlp架构
qq_45745941的博客
07-26 576
卷积神经网络(cnn)是计算机视觉的首选模型。最近，基于注意力的网络，如VIT，也变得流行起来。在本文中，我们证明了虽然卷积和注意力对于良好的性能都是足够的，但它们都不是必需的。我们提出了MLP-Mixer，一种完全基于多层感知器(mlp)的架构。MLP-Mixer包含两种类型的层:一种是独立应用于图像补丁的mlp(即“混合”每个位置的特征)，另一种是跨补丁应用的mlp(即“混合”空间信息)。
【MLP】——MLP-Mixer理解
怡宝2号
08-17 1794
LP-Mixer使用多层感知机（MLP）来代替传统CNN中的卷积操作（Conv）和Transformer中的自注意力机制（Self-Attention）。实现特征之间的融合。其主要有两种融合结构。空间融合，通道融合结构。
MLP-Mixer详解
热门推荐
For_learning的博客
05-11 1万+
MLP-Mixer详解 论文《MLP-Mixer: An all-MLP Architecture for Vision》 1 主要思想 作为Google ViT团队最近刚提出的一种的CV框架，MLP-Mixer使用多层感知机（MLP）来代替传统CNN中的卷积操作（Conv）和Transformer中的自注意力机制（Self-Attention）。 MLP-Mixer整体设计简单，在ImageNet上的表现接近于近年最新的几个SOTA模型。 2 模型结构 MLP-Mixer主要包括三部分：Per-pat
MLP-Mixer: An all-MLP Architecture for Vision
garbage回收中心
09-14 1705
用于视觉的全 MLP 架构
新坑来了！谷歌提出MLP-Mixer：一种纯MLP构成的视觉架构
阿木寺的博客
05-06 1534
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文转载自：AIWalker标题&作者团队MLP-Mixer: An all-MLP Architecture ...
探索MLP-Mixer: PyTorch实现的新型神经网络架构
最新发布
gitblog_00083的博客
04-25 294
探索MLP-Mixer: PyTorch实现的新型神经网络架构 mlp-mixer-pytorchAn All-MLP solution for Vision, from Google AI项目地址:https://gitcode.com/gh_mirrors/ml/mlp-mixer-pytorch 在深度学习领域，模型创新始终是推动进步的关键动力之一。最近，一种名为MLP-Mixer的新颖网...
浅淡ConvMixer （Pytorch and Keras）
__不想写代码__的博客
10-11 6002
文章目录前言一、什么是ConvMixer？1.网络结构图：二、实现步骤1.pytorch实现2.keras实现总结 前言 继现在炒得火热的Mixer 结构和Vit 结构，最近又出来了一种叫ConvMixer 的结构。真的是服气，刚出没多久，感觉是个新坑，可以踩一踩~。我记得9月10号的时候看见出来的，这两天代码刚开源。 官方链接： 论文地址：https://openreview.net/pdf?id=TVHS5Y4dNvM Github 地址：https://github.com/tmp-iclr/con
《MLP-Mixer: An all-MLP Architecture for Vision》2021
u010087277的博客
05-11 1630
摘要：卷积网络CNN是计算机视觉中的必用模型。最近，基于注意力机制的网络结构，比如视觉Transformer，也越来越流行。在这篇文章中我们将展示，虽然卷积和注意力机制是获得优良性能的必要结构，但它们都不是必须的。我们提出MLP-Mixer，一个仅仅基于多层感知机(MLPs)的结构。MLP-Mixer包含两种类型的网络层：一种是独立应用于图像patch的多层感知机MLPs(比如 "混合"每个局部特征)。另一个是应用于交叉patches的多层感知机（比如 “混合”空间信息）。当MLP-Mixer在大的数据集上
mlp-mixer: an all-mlp architecture for vision
06-28
mlp-mixer是一种全MLP架构，用于视觉任务。它使用多层感知机（MLP）来代替传统的卷积神经网络（CNN）来处理图像。这种架构的优点是可以更好地处理不同尺度和方向的特征，同时减少了计算和内存消耗。它在许多视觉任务...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值