batch norm为什么会work：How Does Batch Normalizetion Help Optimization

最新推荐文章于 2023-02-27 17:05:36 发布
最新推荐文章于 2023-02-27 17:05:36 发布
阅读量457 收藏 1
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39760867/article/details/91418411
版权

BN的作用是显而易见的：加速收敛，降低对lr的敏感性。

BN的作者认为，BN层把输入数据，变成了独立同分布的状态，这是BN work的原因。MIT

MIT的文章反驳了上述观点：how Does Batch Normalizetion Help Optimization

下面的实验每层都有BN，但是由于添加了噪声，层间分布已经不同了。在这种情况下能收敛，反驳了独立同分布是BN收敛的原因。

MIT的文章又重新做了实验：记录了loss的梯度差

最后说明BN 的作用是，将loss的解空间平滑了（由下左图到右图），最后达到了加速收敛和降低lr敏感性的效果

hi小蜗
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
论文阅读|How Does Batch Normalization Help Optimization
Dodo
06-14 535
欢迎直接到我的博客查看最近文章：www.pkudodo.com。更新会比较快，评论回复我也能比较快看见，排版也会更好一点。 原始blog链接：http://www.pkudodo.com/2019/05/23/1-11/ 前言 Batch Normalization在2015年被谷歌提出，因为能够加速训练及减少学习率的敏感度而被广泛使用。 但论文中对Batch Norm工作原理的...
How Does Batch Normalization Help Optimization?
seniusen的博客
04-30 450
1. 摘要 BN 是一个广泛应用的用于快速稳定地训练深度神经网络的技术，但是我们对其有效性的真正原因仍然所知甚少。 输入分布的稳定性和 BN 的成功之间关系很小，BN 对训练过程更根本的影响是：它让优化更加平滑。这种平滑让梯度更加可预测更加稳定，从而加速训练。 2. BN 和 internal covariate shift 在原始论文 Batch Normalization: Accel...
How does batch normalization help optimization,Bacth Normalization的原理
yeyin5539的博客
12-03 426
Bacth Normalization出现背景 深度神经网络的“深”意味着性能强，但同时也意味着训练难：“梯度消失”，“梯度爆炸”等问题难以解决。人们把这种问题的出现归咎于internal covariate shift（内部协变量变化）。为了解决这个所谓的ICS，2015年谷歌的Sergey Ioffe，Christian Szegedy（Batch Normalization: Acceler...
[水水博文-论文杂读]How Does Batch Normalization Help Optimization?
PeaceInMind的博客
06-05 1679
[2018-NIPS-oral] How Does Batch Normalization Help Optimization[paper] 这篇文章主要设计了多组对比实验去分析了Batch normalization(BN)成功的原因并在最后给出了一些证明。本文主要的观点是BN并不是去解决原始作者理解的internal covariate shift(ICS) 而是由于 BN reparame...
Coursera | Andrew Ng (02-week3-3.6)—Batch Norm 为什么奏效？
Self Improvement Lab
01-22 685
该系列仅在原课程基础上部分知识点添加个人学习笔记，或相关推导补充等。如有错误，还请批评指教。在学习了 Andrew Ng 课程的基础上，为了更方便的查阅复习，将其整理成文字。因本人一直在学习英语，所以该系列以英文为主，同时也建议读者以英文为主，中文辅助，以便后期进阶时，为学习相关领域的学术论文做铺垫。- ZJ Coursera 课程 |deeplearning.ai |网易云课堂 ...
B_implement-How-does-batch-normalization-helps-optimization
03-11
B_“批量归一化如何帮助优化？” tensorflow_keras_implementation 请注意，在使用gradient_predictiveness代码时，请谨慎使用您的方法。 我仅使用选定的图层来重现结果。... 不适用于“ RAMionaire”或“ GPUnaire...
Batch,Batch,Batch":What does it really mean?
10-18
Batch,Batch,Batch":What does it really mean? 对渲染中dc的消耗的讲解
batch_norm_tests:涉及批量归一化的实验
04-30
概述 该存储库的目标是通过对SVHN进行评估来回答以下问题： 关于性能优化： 快速形成迷你批次的惩罚是什么？ 如果有明显的惩罚，我们... 批量标准化是否会伤害或帮助辍学？ 卷积层的小概率丢失（如Sergey一样）有
aws-batch-image-processor:AWS Batch的简单示例
05-19
尽管这是一个简单的用例，但作业本身也可以扩展为处理更复杂的批处理方案。 有关其他详细信息，请参见我的。 该示例代码包含以下内容： template.tf - 计划，其中包含所需的AWS资源（例如，AWS Batch Job Queue和...
batchit：通过命令行为AWS Batch提交简单作业
01-30
batchit是用于处理AWS Batch的实用程序的集合。 用法 batchit Version: $version ddv : detach and delete a volume by id ebsmount : create and mount an EBS volume from an EC2 instance efsmount : EFS drive ...
cain-ncnn-vulkan:CAIN，使用ncnn库实现视频帧插值只需要频道注意
05-22
CAIN ncnn Vulkan CAIN的ncnn实现，频道注意是视频帧插值所需的全部。 cain-ncnn-vulkan使用作为通用神经网络推理框架。 下载适用于Intel / AMD / Nvidia GPU的Windows / Linux / MacOS可执行文件 该软件包包括所需的所有二进制文件和模型。 它是可移植的，因此不需要CUDA或PyTorch运行时环境:) 关于CAIN CAIN（通道注意就是视频帧插值所需的全部）（AAAI 2020） 崔明sub，金喜媛，韩保亨，徐宁，李庆穆 [ ]中的-视频时间超分辨率挑战 | （如果AAAI链接断开，请在下载论文）| 用法 输入两帧图像，输出一幅插值帧图像。 示例命令 ./cain-ncnn-vulkan -0 0.jpg -1 1.jpg -o 01.jpg ./cain-ncnn-vulkan -i input_
CAIN:AAAI 2020论文“视频帧插值所需的全部通道注意力”的源代码
05-23
视频帧插值只需要频道注意 崔明sub，金喜媛，韩保亨，徐宁，李庆穆 [ ]中的-视频时间超分辨率挑战 | （如果AAAI链接断开，请在下载论文）| 目录结构 project │ README.md | run.sh - main script to train CAIN model | run_noca.sh - script to train CAIN_NoCA model | test_custom.sh - script to run interpolation on custom dataset | eval.sh - script to evaluate on SNU-FILM benchmark | main.py - main file to run train/val | config.py - check & change trainin
BN的真正作用，How Does Batch Normalization Help Optimization?
shiyonglian的博客
09-04 1218
与BN相关的两篇论文 Batch Normalization说BN的作用是因为解决了Internal Covariate Shift（ICS，内部输入分布变化）问题 MIT 的 NeurIPS18 How Does Batch Normalization Help Optimization?从数学推导以及实验方面证明了BN的真正作用 BN原论文的理解与分析 原始论文作者认为 BN 减小了所谓的 ...
谈谈认识BN ：How Does Batch Normalization Help Optimization?
qq_40178291的博客
09-20 342
论文链接How Does Batch Normalization Help Optimization? How Does Batch Normalization Help Optimization? 这是一篇2018年NIPS的文章，主要讲了下BN怎么样帮助模型优化。 总结三点： a. 梯度更加稳定，更加可预测。 b. 计算梯度时可以采用更大的步长,允许我们使用更大的学习率来加速训练。 ...
How Does Batch Normalization Help Optimization? (No, It Is Not About Internal Covariate Shift)
u013422403的专栏
06-20 1386
理解Batch Normalization系列3——为什么有效及11个问题（清晰解释）
soplars的博客
01-15 664
Batch Normalization为什么有效，以及11个值得讨论的问题。...
Batch Normalization本质：平滑优化空间
CristianoC
02-15 466
相信BN层对大家来说并不陌生，今天除了讲解BN被大家说的比较多的东西外会讲一下BN真正work的本质。今天之所以来讲解BN是因为早上听了一个旷视的讲座，听完之后发现旷视研究院在今年1月19日发表的用来解决小批量训练BN不稳定的问题论文：MABN。这对于一般用自己电脑来训练网络的我来说感觉是一个福音，可以减缓batch_size设小之后性能降低的问题（谷歌在一个月前也提出了改进的FRN：一种不依赖...
【BN层的作用】论文阅读 | How Does Batch Normalization Help Optimization?
最新发布
bettii的博客
02-27 526
15年Google提出Batch Normalization，成为深度学习最成功的设计之一，18年MIT团队将原论文中提出的BN层的作用进行了一一反驳，重新揭示BN层的意义
每天一篇论文 337/365 How Does Batch Normalization Help Optimization?
流浪机器人的博客
02-29 340
How Does Batch Normalization Help Optimization?(NIPSNeurIPS 2018) 摘要 批处理规范化（BatchNorm）是一种广泛采用的技术，它使深层神经网络（DNNs）的快速稳定训练。尽管BatchNorm的广泛应用，但其有效性的确切原因仍不清楚。人们普遍认为，这种有效性来源于控制训练过程中各层输入分布的变化，以减少所谓的“内部协变量转移”。在...
吴恩达深度学习(53)-Batch Norm 为什么奏效？
喜欢打酱油的老鸟
01-12 1210
https://www.toutiao.com/a6640433472697532942/   2019-01-04 07:35:33 Batch Norm 为什么奏效？（Why does Batch Norm work?） 为什么Batch归一化会起作用呢？ 一个原因是，你已经看到如何归一化输入特征值x，使其均值为0，方差1. 它又是怎样加速学习的，有一些从0到1而不是从1到1000...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

hi小蜗

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值