[论文阅读]Group Normalization & IBN-Net（ECCV2018）

最新推荐文章于 2023-02-13 17:09:04 发布
最新推荐文章于 2023-02-13 17:09:04 发布
阅读量1k 收藏 3
点赞数 1
分类专栏： 目标分类检测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010886794/article/details/84993746
版权
本文介绍了ECCV2018上的两篇论文，探讨神经网络中的normalization技术。Group Normalization（GN）解决了Batch Normalization在小批量数据上的问题，对批量大小不敏感。而IBN-Net结合Instance和Batch Normalization，通过在浅层保留IN和高层保留BN，增强了学习和泛化能力。实验结果显示，GN与BN在性能上接近，而IBN-Net在跨数据集应用时表现出更好的领域适应性。
摘要由CSDN通过智能技术生成

这里主要介绍两篇ECCV2018的论文，都是关于神经网络层中的normalization归一化的。

目录

《Group Normalization》【ECCV2018】

方法

代码 

实验 

《Two at Once: Enhancing Learning and Generalization Capacities via IBN-Net》【ECCV2018】

摘要

Instance-Batch Normalization Networks

Variants of IBN block 

实验

 Conclusions

 

《Group Normalization》【ECCV2018】

作者：Yuxin Wu and Kaiming He（吴育昕和何恺明）——FAIR（Facebook AI Research）
会议：European Conference on Computer Vision (ECCV), 2018 (Oral). Best Paper Honorable Mention

Kaiming He个人主页：http://kaiminghe.com/

论文链接https://arxiv.org/abs/1803.08494

代码链接https://github.com/facebookresearch/Detectron/blob/master/projects/GN

PPThttp://kaiminghe.com/eccv18gn/group_norm_yuxinwu.pdf

现有的batch normalization(BN)的问题：批大小减小时误差会显著提升，大批量才能保证精度，但是大批量对内存要求太高。

BN 要求有足够大的批量才能工作。小批量会导致批量统计数据的估算不准确，并且减少 BN 的批量大小会显著增加模型误差。如上面这个图所示，批大小从32降到2时，ResNet50在ImageNet上的分类错误率显著增大。在批大小为 2 时，GN 比 BN 对应的误差低 10.6％。对于常规的批量规格，GN 与 BN 表现相当（差距为 0.5％）。

方法

上面的图展示了四种归一化方法，蓝色的块表示用这些像素计算均值和方差，然后对它们进行归一化。 

  1. BatchNorm是在batch方向做归一化，算(N, H, W)轴上的均值和方差
  2. LayerNorm是在channel方向做归一化，算(C, H, W)轴上的均值和方差
  3. InstanceNorm是在一个批次的一个channel内做归一化，算(H,W)轴上的均值和方差
  4. GroupNorm是将channel分成几个group，然后每个group内做归一化，算((C//G),H,W)轴上的均值和方差

对所有的归一

最低0.47元/天 解锁文章
qtSunnylove
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【AI数学】Group Normalization(何恺明ECCV2018最佳论文提名)
木盏
10-20 3747
声明：原创文章，欢迎转载，但必须经过本人同意。 论文标题：《Group Normalization》 论文链接： https://arxiv.org/pdf/1803.08494.pdf 作为两年一届的计算机视觉顶会ECCV前不久在德国召开，引起了诸多CVer的关注。其中，最佳论文被一个3D朝向的论文斩获，提出了具有普世性价值的AAE。对，想要拿最佳paper，你的paper一定要提出具有普...
（转载）ECCV 2018：IBN-Net：打开域适应的新方式
weixin_30820077的博客
09-29 370
（本文转自极视角） 本文由香港中文大学发表于ECCV2018，论文探索了IN和BN的优劣，据此提出的IBN-Net在语义分割的域适应任务上取得了十分显著的性能提升。 论文地址：https://arxiv.org/pdf/1807.09441 代码地址：https://github.com/XingangPan/IBN-Net 背景介绍 近年来，尽管CNN模型在诸如图...
论文阅读【域泛化】：ECCV2018|Two at Once: Enhancing Learning and Generalization Capacities via IBN-Net
qq_17614495的博客
07-31 901
文章目录前言一、IntroductionContribution二、MethodResult总结 链接：ECCV2018|Two at Once: Enhancing Learning and Generalization Capacities via IBN-Net. 前言 与现有的设计CNN体系结构以提高单个域的单个任务的性能和不可推广性的工作不同，IBN网络，一种新颖的卷积体系结构，它显著增强了CNN在一个域上的建模能力以及在另一个域上的推广能力，而无需微调。IBN-Net小心翼翼地将Instanc
如何理解FastReid中的IBN？
AI浩
11-03 557
IBN原论文链接：https://arxiv.org/pdf/1807.09441.pdfIBN是由Instance Normalization（IN）和Batch Normalization构成，有增强学习和泛化能力的作用；BatchNorm：batch方向做归一化，算NHW的均值，对小batchsize效果不好；BN主要缺点是对batchsize的大小比较敏感，由于每次计算均值和方差是在一个batch上，所以如果batchsize太小，则计算的均值、方差不足以代表整个数据分布；
Batch Normalization、Layer Normalization、Group Normalization、Instance Normalization原理、适用场景和实际使用经验
我亦是行人
06-08 1530
Batch Normalization、Layer Normalization、Group Normalization、Instance Normalization原理、适用场景和使用经验
GroupNormalization-keras:keras 实现组规范化。 https
05-29
GroupNormalization_keras keras 实现组规范化。 吴宇新和何开明 [WIP警报] 该存储库仍在进行中。 组标准化的功能尚未完全检查。 实现可能是错误的。 用法 from GroupNormalization import GroupNormalization ...
Python-实例批量标准化网络ECCV2018
08-11
实例批量标准化网络（Instance-Batch Normalization，简称IBN）是一种在深度学习领域中的网络结构增强技术，由Pyo等研究者在ECCV 2018年会议上提出。这个创新的网络设计旨在解决传统批量标准化（Batch Normalization...
Group Normalization
03-09
Group Normalization（GN）是一种与Batch Normalization（BN）相关的深度学习正则化技术，用于改善神经网络训练过程中的性能和泛化能力。在深度学习的发展历程中，Batch Normalization 作为一个重要的里程碑技术，极...
毕业设计&课设-MATLAB中的深度学习变压器模型.zip
最新发布
02-20
变压器模型最初由Vaswani等人在2017年的论文《Attention is All You Need》中提出，它颠覆了传统的序列模型结构，如LSTM和GRU，主要依靠自注意力机制来处理序列数据。这一模型在机器翻译、文本生成和问答系统等领域...
Laravel开发-normalization-request-uri
08-28
总的来说，`Laravel开发-normalization-request-uri`关注的是如何确保Laravel框架能够正确处理各种格式的请求URI，保证路由到正确的控制器和方法，提供一致的用户体验。通过对`normalization-request-uri-master`...
IBN-Net ResNetIBN的原理以及DSBN的代码
baimenglin的博客
10-19 3840
IBN-Net IBN-Net由《Two at Once: Enhancing Learning and Generalization Capacities via IBN-Net》这篇文章提出。 归一化层，目前主要有这几个方法，Batch Normalization（2015年）、Layer Normalization（2016年）、Instance Normalization（2017年）、Group Normalization（2018年）、Switchable Normalization（2018年
从IBN-Net到Switchable Whitening：在不变性与判别力之间权衡
Paper weekly
12-16 1510
提升模型跨场景的泛化能力是实际应用不可避免的问题。本文介绍了我们的两个工作对此进行的探索，分别收录于 ECCV 2018 和 ICCV 2019。本文侧重讲述工作背后的思路，希望对读者有...
详解ReID的各部分组成及Trick——特征提取网络（Backbone）
藏晖的博客
09-10 8229
1、ResNet        在FastReID中常用的ResNet结构有ResNet50和ResNet101。调用了在ImageNet上的预训练模型来作为Backbone，这样可以提高模型的性能。关于ResNet的设计，基本上接触过深度学习的都很熟悉了，这里为了方便对比主要列出其残差块的设计。 2、ResNeXt        ResNeXt是在ResNet上做
Batch Normalization 与 Instance Normalization
摸爬滚打的进阶之路
08-31 3546
归一化的原因： 归一化是为了加快训练网络的收敛性，可以不进行归一化处理  归一化的具体作用是归纳统一样本的统计分布性。归一化在0-1之间是统计的概率分布，归一化在-1--+1之间是统计的坐标分布。归一化有同一、统一和合一的意思。无论是为了建模还是为了计算，首先基本度量单位要统一，神经网络是以样本在事件中的统计分别几率来进行训练（概率计算）和预测的，归一化是同一在0-1之间的统计概率分布；  当所...
【论文阅读】基于意图的网络(Intent-Based Networking,IBN)研究综述
捡破烂日记^ ^
02-13 1921
随着互联网规模不断增大,网络管理和运维变得极其复杂，可帮助实现网络自治。IBN并非一个新技术，而是一种理念，通过意图的概念为网络管理提供一个更高级的抽象。
《Enhancing Learning and Generalization Capacities via IBN-Net》论文阅读
zc199329的博客
03-29 436
目录 主旨 论文内容 论文总结 主旨 论文目的在于找到一种网络结构能够在在单一领域提高性能的同时，对于领域适应甚至领域泛化都有很好的性能，替代finetuning的效果。因此，作者组合了IN和BN，保持特征区分度的同时能够满足外观不变性的特点，设计了IBN模块。 论文内容 1 首先，为什么用IN？ 因为，作者发现在风格迁移的领域中，IN的效果比BN的效果好。基于IN的encod...
深度学习中常见的Normalization总结—Batch Normalization,Instance Normalization
MasterQKK
04-11 386
深度学习中常见的Normalization总结Batch NormalizationInstance NormalizationReferences 对于一个给定的Batch: x∈RN⋅C⋅H⋅Wx \in R^{N \cdot C \cdot H \cdot W}x∈RN⋅C⋅H⋅W, 其中N, C, H, W，分别表示：batchsize, num_channel, Height, Width, 下面的定义都给予这个设定。 Batch Normalization BN[1]标准化每个feature c
batch normalization - layer normalization - instance normalization - group normalization
既然选择了远方 便只顾风雨兼程 - 永强
06-14 780
batch normalization - layer normalization - instance normalization - group normalization feature normalization (batch normalization - layer normalization - instance normalization - group normalization) 1. 4D tensor (N×C×H×WN \times C \times H \times WN×C×H
【论文阅读--reid相关】IBN结构的总结
weixin_38715903的博客
07-15 1047
啊，因为要求看reid，所以又开始翻出来，频繁看到IBN结构，于是想着要记录一下。 有关于Normalization:https://blog.csdn.net/liuxiao214/article/details/81037416
IBN-Net：提升深度学习跨域泛化能力
IBN-Net通过集成实例规范化（Instance Normalization, IN）和批量规范化（Batch Normalization, BN），解决了这一问题。 首先，作者深入研究了IN和BN的作用。IN有助于学习对外观变化（如颜色、风格或虚拟/现实差异...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值