MLP
文章平均质量分 88
MLP结构
Clichong
这个作者很懒,什么都没留下…
展开
-
论文阅读笔记 | MLP系列——MLP部分汇总(RaftMLP,DynaMixer)
如有错误,恳请指出。这篇博客是一篇归纳总结性的博客,对几篇mlp结构文章进行汇总。文章目录1. RaftMLP2. DynaMixer1. RaftMLP结构上与Vip,HireMLP等等类似,感觉没有太多的亮点,都是对h,w方向作改变。不过提出了多尺度的进行patch embedding操作,主要是对nn.Unfold函数的使用,其对一个卷积核大小的区域提取出来成为一个patch。RaftMLP architecturePseudocode of raft-token-mixin.原创 2022-02-24 23:10:21 · 998 阅读 · 0 评论 -
论文阅读笔记 | MLP系列——MLP部分汇总(gMLP,aMLP,ResMLP,RepMLP)
如有错误,恳请指出。这篇博客是一篇归纳总结性的博客,对几篇mlp结构文章进行汇总。文章目录1. gMLP2. aMLP3. ResMLP4. RepMLP1. gMLPMLP-Mixer的增强版,带gating的MLP。有两个版本,分别是gMLP和aMLP。gmlp的g是“gate”的意思,简单来说gmlp就是将mlp-mixer跟门控机制结合起来。即将输入沿着特征维度分为两半,然后将其中一半传入mlp-mixer,作为另一半的gate。核心代码:def gmlp_block(x,.原创 2022-01-05 19:48:58 · 6683 阅读 · 1 评论 -
论文阅读笔记 | MLP系列——MLP部分汇总(Cycle-MLP,Hire-MLP,Sparse-MLP,ConvMLP)
如有错误,恳请指出。这篇博客是一篇归纳总结性的博客,对几篇MLP结构文章进行汇总。文章目录1. Cycle-MLP2. Hire-MLP3. Sparse-MLP4. ConvMLP1. Cycle-MLP出发点:结合层级结构来适应可变的图像尺寸,减少计算复杂度Cycle FC block大体结构上与MLP-Mixer类似,继承了Channel FC的优点,可以接受任意尺度的大小处理接受任意分辨率的输入,同时改进了Spatial FC进行空间全局上下文聚合消耗计算量大的缺点,提出了阶梯式风格.原创 2021-11-30 15:42:44 · 2302 阅读 · 2 评论 -
论文阅读笔记 | MLP系列——CycleMLP
如有错误,恳请指出。文章目录1. Introduction2. CycleMLP Architecture2.1 Overall Architecture2.2 CycleFC Block3. Resultpaper:CycleMLP: A MLP-like Architecture for Dense Predictioncode:https://github.com/ShoufaChen/CycleMLP摘要:CycleMLP是AS-MLP之外的另外一个可以作为通用骨架的MLP架构(AS.原创 2021-11-26 11:49:28 · 3951 阅读 · 2 评论 -
论文阅读笔记 | MLP系列——MLP部分汇总(MLP-Mixer、S2-MLP、AS-MLP、ViP、S2-MLPv2)
如有错误,恳请指出。这篇博客是一篇归纳总结性的博客,对几篇MLP结构文章进行汇总。文章目录1. MLP-Mixer2. S2-MLP3. AS-MLP4. ViP5. S2-MLPv21. MLP-Mixer详细笔记见:论文阅读笔记 | MLP系列——MLP-Mixer2. S2-MLP出发点:过拟合的角度MLP-Mixer只在比较大的数据集上可以取得和 CNN 以及 Transformer 结构相当甚至更好的性能。然而,单单在 ImageNet 1k 或者 ImageNet 21K.原创 2021-11-25 16:36:11 · 3483 阅读 · 0 评论 -
论文阅读笔记 | MLP系列——AS-MLP
如有错误,恳请指出。文章目录1. Introduction2. Related Work2.1 Transformer-based Architectures2.2 MLP-based Architectures3. AS-MLP Architecture3.1 Overall Architecture3.2 AS-MLP Block3. Comparisons4. Resultpaper:AS-MLP:an axial shifted mlp architecturecode:https://g.原创 2021-11-24 10:33:45 · 3565 阅读 · 1 评论 -
论文阅读笔记 | MLP系列——MLP-Mixer
如有错误,恳请指出。paper:MLP-Mixer: An all-MLP Architecture for Visioncode:https://github.com/google-research/vision_transformer摘要:研究人员表明,尽管卷积和注意力都足以获得良好的性能,但它们都不是必需的。为此,作者提出了MLP-Mixer,一种专门基于多层感知机的体系结构。MLP-Mixer包含两种类型的层:一种是独立于每个patch的mpl结构(既混合每个位置的特征);另外一种是跨.原创 2021-11-15 21:57:12 · 3209 阅读 · 0 评论