ResNet改进(32)：MogaNet与ResNet34混合架构详解

已于 2025-04-18 08:32:57 修改
阅读量845 收藏
点赞数 36
分类专栏： ResNet 改进【有效涨点！】 文章标签： 神经网络 人工智能 网络 python
于 2025-04-18 08:32:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_82355416/article/details/147318752
版权

1.概述

本文档详细分析了一个结合了MogaNet模块与传统ResNet34架构的混合神经网络实现。

该架构旨在通过引入MogaBlock（Multi-Operation Gated Attention Block）来增强传统残差网络的表达能力，同时保持ResNet的优秀特性如梯度流动和训练稳定性。

架构组成

1. MogaBlock (第一个实现)

第一个MogaBlock实现包含以下核心组件：

  1. 局部特征提取：使用深度可分离卷积(Depthwise Separable Conv)捕获局部特征

    • 深度卷积(3x3 kernel) + 点卷积(1x1 kernel)

    • 批归一化(BatchNorm)和GELU激活

  2. 全局上下文分支：使用大核卷积(5x5)捕获全局上下文

    • 类似局部分支的结构但使用更大的卷积核

  3. 特征门控机制：

    • 通道注意力

了解本专栏 订阅专栏 解锁全文
MogaNet：高效的多阶门控聚合网络
AI浩
02-06 2637
自深度神经网络（DNNs）复兴以来，卷积神经网络（ConvNets）已成为计算机视觉领域的首选方法。通过在池化和非线性操作之间交替使用层次化的卷积层，ConvNets能够利用内置的平移等变约束来编码观察图像的底层语义模式，并进一步成为当今计算机视觉系统中的基础设施。然而，ConvNets所学习的表示对局部纹理有很强的偏见，这导致全局信息的严重损失。因此，研究者们一直在努力改进宏观层次架构和上下文聚合模块。
深度学习论文: Efficient Multi-order Gated Aggregation Network及其PyTorch实现
mingo_敏
11-25 780
MogaNet通过在空间和通道交互空间中利用两个专门设计的聚合模块，促进了跨多个复杂性的交互并将其情境化。轻量级的MogaNet-T通过在ImageNet-1K上进行精确的训练设置，以1.44G的FLOPs实现80.0%的top-1精度，超过ParC-Net-S 1.4%的精度，但节省了59%（2.04G）的FLOPs。
MogaNet: 高效多阶门控聚合网络
m0_63642362的博客
05-27 1865
本文通过交互复杂性的角度来探索DNN的表示能力。同时，本文提出了一个新的高效ConvNets——MogaNet，以有效地建模多阶交互
YOLOv11全网最新创新点改进系列： MogaNet与YOLOv11强强联手。在复杂度和性能的权衡上表现出色！MogaNet 展现出出色的可扩展性、参数效率和竞争力！
B站 Ai学术叫叫兽的文案地
02-17 1204
YOLOv11全网最新创新点改进系列： MogaNet与YOLOv11强强联手。在复杂度和性能的权衡上表现出色！MogaNet 展现出出色的可扩展性、参数效率和竞争力！
探索未来视觉处理的新型利器——MogaNet
gitblog_00022的博客
06-13 471
探索未来视觉处理的新型利器——MogaNet MogaNet项目地址:https://gitcode.com/gh_mirrors/mo/MogaNet 在深度学习领域，高效的模型设计一直是研究者们追求的目标。今天，我们带您深入了解一个前沿的开源项目——MogaNet：高效多阶门控聚合网络。该网络以ICLR 2024的前瞻视角亮相，由西湖大学与浙江大学的顶尖团队联合打造，旨在通过多阶博弈论的交互...
【Moga Net】Efficient Multi-order Gated Aggregation Network 阅读
wendell 的博客
11-15 2208
今天分享一篇发在arxiv上的backbone基础网络创新论文[【MogaNet】](https://arxiv.org/abs/2211.03295)，作者来自于西湖大学和浙江大学。MogaNet 将DNN的表征能力表示为``lens of interaction complexities``。MogaNet为纯卷积网络，通过类似于人类视觉系统的多阶特征聚集模块同时具备局部感知和全局上下文聚集能力，通过特殊设计的SMixer和CMixer 分别从Spatial维度和Channel维度聚集上下文信息，实现了
MogaNet实战：使用MogaNet实现图像分类任务（一）
AI浩
02-12 1572
论文：https://arxiv.org/pdf/2211.03295.pdf作者多阶博弈论交互这一全新视角探索了现代卷积神经网络的表示能力。这种交互反映了不同尺度上下文中变量间的相互作用效果。提出了一种新的纯卷积神经网络架构族，称为MogaNet。MogaNet具有出色的可扩展性，在ImageNet和其他多种典型视觉基准测试中，与最先进的模型相比，其参数使用更高效，且具有竞争力的性能。
网路：MOGA网路
02-08
网页 천가천网站
MogaNet:从多阶博弈论交互探索现代卷积
cshsjdh的博客
02-13 1496
MogaNet是一种从多阶博弈论交互的新观点出发的计算高效的纯卷积网络架构。通过特别关注多阶博弈交互，设计了一个统一的多阶遗传块，有效捕捉了跨空间和信道空间的鲁棒多阶上下 文。
MogaNet实战：使用MogaNet实现图像分类任务
02-12
作者多阶博弈论交互这一全新视角探索了现代卷积神经网络的表示能力。这种交互反映了不同尺度上下文中变量间的相互作用效果。提出了一种新的纯卷积神经网络架构族，称为MogaNet。MogaNet具有出色的可扩展性，在ImageNet和其他多种典型视觉基准测试中，与最先进的模型相比，其参数使用更高效，且具有竞争力的性能。具体来说，MogaNet在ImageNet上实现了80.0%和87.8%的Top-1准确率，分别使用了5.2M和181M参数，优于ParC-Net-S和ConvNeXt-L，同时节省了59%的浮点运算和17M的参数。源代码可在GitHub上(https://github.com/Westlake-AI/MogaNet)获取。 文章链接：https://wanghao.blog.csdn.net/article/details/136102061?spm=1001.2014.3001.5502
【ARXIV2211】Efficient multi-order gated aggregation network
OUC的搬砖日常
12-07 619
作者认为，交互复杂性是视觉识别一个重要特点。为此，作者通过复杂特征交互构建了一个纯卷积的网络 MogaNet 用于图像识别。MogaNet的整体框架如下图所示，架构和一般的 Transformer 网络非常类似，核心包括两个模块：spatial aggregation （取代注意力） 和 channel aggregation （取代FFN）。（1）spatial aggregation 如下图所示，蓝色部分叫做 feature decomposition，用于 exclude trivial intera
解读小米MoGA：超过MobileNetV3的移动端GPU敏感型搜索
Paper weekly
08-08 894
作者丨安静怡学校丨吉林大学研究方向丨神经网络模型压缩近日，小米AI实验室AutoML团队展示了最新成果MoGA（作者：初祥祥，张勃，许瑞军），超过由Goog...
pytorch搭建并训练神经网络
peggy8023的博客
04-27 247
损失函数：训练神经网络的一开始，会初始化w与b参数，那么计算出来的结果f'(x)与真实的结果f(x) 中间的差距，就是损失函数计算出的来标签和真实数据标签的差距，通常把这个函数叫做损失函数Loss。上图是一个最简单的神经元，有一个输入X或者3个输入X矩阵，一个输出，中间是参数部分，圆圈的部分表示进行某种运算。训练神经网络的过程，也就是我们得到精度极高的w和b的过程，通过大量的数据演算推导，获得精度极高的w和b的值，从而确定f(x)，这样就能用确定的f(x)来预测新的数据是什么标签类型。1.神经网络是什么？
基于物理信息的神经网络在异常检测Anomaly Detection中的应用：实践指南
AI人工智能的学习之路
04-27 438
物理信息神经网络（PINNs）代表了一种令人兴奋的新建模范式，这种范式正在各行各业迅速崭露头角。PINNs 最有前景的应用之一是复杂物理系统中的异常检测Anomaly Detection。这一应用尤其值得关注，因为它解决了传统机器学习方法在实践中一直难以克服的几个关键痛点。在这篇博客中，让我们通过回答实践者在采用基于 PINN 的方法进行异常检测Anomaly Detection时最常遇到的一些问题，深入探讨这个热门话题。
神经网络笔记 - 神经网络
最新发布
kznsbs的博客
04-27 369
显然W2 的数据更加平稳，这样的数据说明再计算的过程中，神经网络最大程度上使不同数据的信息，而不是单独通过某一条数据进行判断。在训练神经网络时，计算每个参数（权重）应该怎么调整，才能让模型的输出变得更好（比如分类更准）的一种算法。它是一层一层往回推，算出每个参数对最终误差（loss）的影响，然后用这些信息来更新参数。那么，我们如何知道分数有多对，或则这个分数的准确率有多少，这里需要用到损失函数。通过反向传播，它知道了：“啊，我哪一部分参数错了，应该怎么调整”。顺着上面的例子，我们的到了X* W的分数。
【神经网络与深度学习】端到端方法和多任务学习
weixin_50512050的博客
04-27 466
端到端方法和多任务学习是机器学习和深度学习领域中的两种重要技术，它们各自适用于不同的应用场景，并在模型设计、数据要求和训练过程等方面有着显著区别。
【神经网络与深度学习】RELU 函数+Sigmoid 函数+SELU 函数
weixin_50512050的博客
04-27 100
RELU 函数+Sigmoid 函数+SELU 函数
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

点我头像干啥

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值