DeepMind重新设计高性能ResNet！无需激活归一化层

最新推荐文章于 2024-06-29 01:14:34 发布
最新推荐文章于 2024-06-29 01:14:34 发布
阅读量292 收藏
点赞数
分类专栏： 计算机视觉论文速递 backbone 开源项目 文章标签： 人工智能 深度学习 计算机视觉 python 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/amusi1994/article/details/113835044
版权
DeepMind的研究揭示了如何设计不依赖激活归一化层的高效ResNet和RegNet，其性能与FLOP预算相同的EfficientNet相当。文章介绍了Weight Standardization的改编版在确保信号传播和保持ReLU或Swish激活函数网络中信号方面的作用。实验结果显示，这种新方法在ImageNet上的表现极具竞争力。
摘要由CSDN通过智能技术生成

本文提出Normalizer-Free方法，可设计没有激活归一化层的深度残差网络！其能直接应用于ResNet、RegNet等网络，相同FLOP预算下，可比肩EfficientNet！代码已开源！

注1：文末附【计算机视觉细分垂直方向】交流群（含检测、分割、跟踪、医疗、GAN、Transformer等）

注2：整理不易，欢迎点赞，支持分享！

Characterizing signal propagation to close the performance gap in unnormalized ResNets
在这里插入图片描述

  • 作者单位：DeepMind
  • 大佬复现代码：rwightman/pytorch-image-models
  • 论文（已收录于ICLR 2021）：https://arxiv.org/abs/2101.08692

Batch Normalization是几乎所有最新图像分类器中的关键组件，但同时也带来了实际挑战：它打破了batch内训练示例之间的独立性，可能会导致计算和内存开销，并经常导致意外的错误。

在这里插入图片描述

基于对初始化时深度ResNet的最新理论分析，我们提出了一套简单的分析工具来表征前向信号的传播，并利用这些工

最低0.47元/天 解锁文章
Amusi（CVer）
关注
专栏目录
从基础到高级：AI大模型开发的技术栈
AI天才研究院
01-17 1360
人工智能（AI）技术在近年来取得了突飞猛进的发展，其中大模型（Large Language Models，LLMs）的出现更是掀起了新一轮的技术革命。从OpenAI的GPT系列到Google的BERT，再到更近期的Claude和PaLM，这些大模型展现出了惊人的语言理解和生成能力，正在重塑我们与技术交互的方式。然而，开发如此复杂的AI系统并非易事，它需要一整套完善的技术栈支持。本文旨在全面剖析AI大模型开发的技术栈，从基础理论到实际应用，为读者提供一个清晰而深入的认识。
如何构建深度神经网络，提升训练速度和效率，并更好地解决实际问题 Practical Advice for building deep neural networks
AI天才研究院
08-03 1278
1997年，Yann LeCun教授发表了论文“Backpropagation applied to handwritten zip code recognition”，成功地证明了深层神经网络在图像识别、文本分类、机器翻译等领域中的有效性。此后，深度学习的火爆开始席卷全球，越来越多的学者开始研究深层神经网络的构造方法和优化算法，如AlexNet、VGG、GoogleNet、ResNet等等。
深度学习的小知识点
一只自学喵的博客
03-09 348
文章目录Batch Normalization Batch Normalization Batch Normalization层（简称BN），是将上一层输出的数据标准化之后再传递到下一层，可是BN层放在activation层前面或者后面却存在不同意见。 此方法原创作者将其放在激活层（用tanh激活）之前，也有人建议放在激活层（用relu激活）之后。后者在一般情况下会获得更高的准确率。 所以，如果用...
Rethinking ImageNet Pre-training 论文解读
qq_28778507的博客
01-15 275
随机初始化参数的模型其训练结果不比预训练模型差（使用了合适的normalization），唯一的不同是增加了训练迭代次数。随机初始化训练具有很好的鲁棒性，甚至在以下情况仍然成立： 仅适用10%训练数据 用于更深和更宽的模型 用于多任务和多指标 结论 随机初始化的模型在训练一段时间后就要赶上预训练模型，其时间=预训练模型训练时间+微调时间。 预训练模型不能提供更好的正则化，当训练数据较少时，发现...
各类激活函数Activation Functions介绍及实现与优缺点分析
frighting_ing的博客
11-28 2873
什么是激活函数？ 激活函数（Activation functions）对于神经网络模型学习与理解复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。 如果网络中不使用激活函数，网络每一层的输出都是上层输入的线性组合，无论神经网络有多少层，输出都是输入的线性组合。 如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，此时神经网络就可以应用到各类非线性场景当中了。 常见的激活函数如sigmoid、tanh、relu等，它们的输入输出映射均为非线性，这
超越GAN！OpenAI提出可逆生成模型，AI合成超逼真人像
weixin_33695082的博客
07-11 992
【新智元导读】OpenAI最新提出的可逆生成模型Glow，可以使用相对少的数据，快速生成高清的逼真图像，具有GAN和VAE所不具备的精确操作潜在变量、需要内存少等优势。 OpenAI刚刚在博客介绍了他们的最新成果——Glow，一种使用可逆1x1卷积的可逆生成模型。 Glow 可以生成逼真的高分辨率图像，支持高效采样，并且可以自动学习图像中属性特征，比如人...
深度学习常用的backbone有哪些
a486259的博客
09-28 1万+
深度学习中常用的backbone有resnet系列（resnet的各种变体）、NAS网络系列（RegNet）、Mobilenet系列、Darknet系列、HRNet系列、Transformer系列和ConvNet。
AlphaZero vs 蒙特卡洛树搜索（MCTS）和神经网络: A Generalizable AI That Masters Chess
AI天才研究院
08-10 301
1997年，Google DeepMind提出了一种基于深度强化学习（Deep Reinforcement Learning）的方法AlphaGo，它打败了围棋冠军李世石。经过5个月的训练后，AlphaGo已经能够在五子棋、象棋和国际象棋等不同游戏中击败顶级人类选手。随后，研究人员也对AlphaGo进行改进，提出了AlphaZero算法，并成功地训练出一个可以通用到其他五种不同棋类游戏的AI。
多模态大模型：技术原理与实战 在LLM时代，对软件研发的更多思考————从软件 1.0 迈向软件 2.0 时代
最新发布
AI天才研究院
06-29 880
软件1.0 vs 软件2.0 - **软件1.0**：传统的软件开发方法，通过人工编写明确的**程序逻辑和规则**来实现功能。 - **软件2.0**：利用AI和机器学习技术，通过**训练模型来"学习"如何执行任务，而不是显式编程**。在这种范式下，软件的行为更多地**由数据和学习算法决定，而不是固定的规则。**
关于增强模型泛化能力的方法之一（标准化Normalization）
evenchao1的博客
03-06 2440
1. 批标准化 **标准化（Normalization）**是一大类方法，用于让机器学习模型看到的不同样本彼此之间更加 相似，这有助于模型的学习与对新数据的泛化。 最常见的数据标准化形式就是你已经在本书中 多次见到的那种形式：将数据减去其平均值使其中心为0，然后将数据除以其标准差使其标准 差为1。实际上，这种做法假设数据服从正态分布（也叫高斯分布），并确保让该分布的中心为0， 同时缩放到方差为1。...
如何看待第三代神经网络SNN？详解脉冲神经网络的架构原理、数据集和训练方法 原创
极市平台的技术博客
03-30 1万+
SNN详解：架构原理、数据集和训练方法
Batch Normalization导读
热门推荐
张俊林的博客
05-24 7万+
  /* 版权声明：可以任意转载，转载时请标明文章原始出处和作者信息 .*/                                                        author: 张俊林                                          （想更系统地学习深度学习知识？请参考：深度学习枕边书） Batch Normalizatio...
normalization总结和实现
how many roads a model must walk down, before they call him a service
01-08 1239
本博文大量引用张俊林老师的专栏：https://zhuanlan.zhihu.com/p/43200897 内化于己 默认你已经略懂BN，至少读过batch normalization论文！ 介绍 normalization分为针对输入激活函数数据和权重两种方式。 1.输入激活函数数据 最为广泛使用的就是BatchNormalization(BN)，它是一种典形的对输入数据的norm操作，包括它的...
解读Batch Normalization
shuzfan的专栏
02-23 3万+
目录 目录 1-Motivation 2-Normalization via Mini-Batch Statistics 测试 BN before or after Activation 3-Experiments本次所讲的内容为Batch Normalization，简称BN，来源于《Batch Normalization: Accelerating Deep Network Training b
标准化(BN)与激活函数(BN在 激活函数前，在卷积后 )_
Taiyang625的博客
04-12 1万+
这里写自定义目录标题概念性东西1、内部协变量转移2、 covariate shift 现象3、白化4、如何让神经网络每个隐藏层节点的激活输入分布固定下来呢？5、如何解决隐藏层神经元梯度消失问题6、 用什么样的指标来判断是否已经出现了covariate shift现象7. Batch Normalization8、Batch Normalization 的优点9、 Activation Functi...
深度学习-批标准化（批归一化，Batch Normalization）
I‘m Frank Lee
05-24 2286
Google在ICML文中描述得非常清晰，即在每次SGD时，通过mini-batch来对相应的activation做标准化操作，使得结果（输出信号各个维度）的均值为0，方差为1。而最后的“scale and shift”操作则是为了让因训练所需而“刻意”加入的BN能够有可能还原最初的输入，从而保证整个network的capacity（非线性、表达能力）。 为什么深度神经网络随着网络深度加深，训练起来越困难，收敛越来越慢？这是个在DL领域很接近本质的好问题。很多论文都是解决这个问题的，比如ReLU激活函数，再
深度学习——神经网络中的activation
杜咩咩的博客
05-02 7779
神经网络中有个词叫做 activation——激活函数现假设一神经网络N，其中w为权值参数，x为输入，b为偏置。神经网络中上层的信号  wx+b 在作为下层的输入 之前，需要 使用 激活函数激活。why？从两个角度解释A：如果不用激活函数（其实相当于激活函数是f(x) = x），在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层...
RegNet架构复现--CVPR2020
冲出仁川，走出马德里，故事还会再继续
09-04 1186
在这项工作中，我们提出了一种新的网络设计范式。我们的目标是帮助促进对网络设计的理解，并发现跨环境通用的设计原则。我们不是专注于设计单个网络实例，而是设计参数化网络群体的网络设计空间。整个过程类似于经典的网络手动设计，但提升到了设计空间级别。使用我们的方法，我们探索了网络设计的结构方面，并得出了一个由简单、规则的网络组成的低维设计空间，我们称之为RegNet。好的网络的宽度和深度可以用一个量化的线性函数来解释。我们分析了 RegNet 设计空间并得出了与当前网络设计实践不匹配的有趣发现。
深度学习笔记：批量归一化与残差网络实践
批量归一化通常被插入到全连接层或卷积层的激活函数之前，仿射变换之后，这样可以确保在网络的每一层，数据都保持在一个相对固定的范围内，从而加速训练过程，提高模型的泛化能力。 在全连接层中应用批量归一化时，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值