Batch Normalization（2015年提出）

最新推荐文章于 2024-07-30 12:10:19 发布

快乐成长吧

最新推荐文章于 2024-07-30 12:10:19 发布

阅读量1.6k

点赞数 1

分类专栏：深度学习相关

本文链接：https://blog.csdn.net/qq_37791134/article/details/81945620

版权

本文详细介绍了Batch Normalization（BN）算法，它能显著加速深度网络的训练，减少内部协变量漂移，允许使用较大的学习率。BN在训练过程中解决了因参数更新导致中间层数据分布变化的问题，提高网络的泛化能力和训练速度，同时可以替代局部响应归一化，并简化过拟合处理。BN在网络每一层加入归一化层，通过学习的γ和β参数恢复特征分布，适用于卷积神经网络，且在CNN中采用权值共享策略减少参数数量。

摘要由CSDN通过智能技术生成

视频：https://www.youtube.com/watch?v=BZh1ltr5Rkg 李毅宏老师

先放一张Batch Normaliztion的优点：

学习了BN，偷懒，把别人的拿来做下总结啦。

Batch Normalization 学习笔记

原文地址：http://blog.csdn.net/hjimce/article/details/50866313

作者：hjimce

一、背景意义

本篇博文主要讲解2015年深度学习领域，非常值得学习的一篇文献：《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》，这个算法目前已经被大量的应用，最新的文献算法很多都会引用这个算法，进行网络训练，可见其强大之处非同一般啊。

近年来深度学习捷报连连、声名鹊起，随机梯度下架成了训练深度网络的主流方法。尽管随机梯度下降法对于训练深度网络简单高效，但是它有个毛病，就是需要我们人为的去选择参数，比如学习率、参数初始化、权重衰减系数、Drop out比例等。这些参数的选择对训练结果至关重要，以至于我们很多时间都浪费在这些的调参上。那么学完这篇文献之后，你可以不需要那么刻意的慢慢调整参数。BN算法（Batch Normalization）其强大之处如下：

(1)你可以选择比较大的初始学习率，让你的训练速度飙涨。以前还需要慢慢调整学习率，甚至在网络训练到一半的时候，还需要想着学习率进一步调小的比例选择多少比较合适，现在我们可以采用初始很大的学习率，然后学习率的衰减速度也很大，因为这个算法收敛很快。当然这个算法即使你选择了较小的学习率，也比以前的收敛速度快，因为它具有快速训练收敛的特性；

(2)你再也不用去理会过拟合中drop out、L2正则项参数的选择问题，采用BN算法后，你可以移除这两项了参数，或者可以选择更小的L2正则约束参数了，因为BN具有提高网络泛化能力的特性；

(3)再也不需要使用使用局部响应归一化层了（局部响应归一化是Alexnet网络用到的方法，搞视觉的估计比较熟悉），因为BN本身就是一个归一化网络层；

(4)可以把训练数据彻底打乱（防止每批训练的时候，某一个样本都经常被挑选到，文献说这个可以提高1%的精度，这句话我也是百思不得其解啊）。

开始讲解算法前，先来思考一个问题：我们知道在神经网络训练开始前，都要对输入数据做一个归一化处理，那么具体为什么需要归一化呢？归一化后有什么好处呢？原因在于神经网络学习过程本质就是为了学习数据分布，一旦训练数据与测试数据的分布不同，那么网络的泛化能力也大大降低；另外一方面，一旦每批训练数据的分布各不相同(batch 梯度下降)，那么网络就要在每次迭代都去学习