深度学习中 batchnorm 层是咋回事？

作者：Double_V_ 来源：CSDN 原文：https://blog.csdn.net/qq_25737169/article/details/79048516 版权声明：本文为博主原创文章，转载请附上博文链接！

作者：Double_V_ 来源：CSDN 原文：https://blog.csdn.net/qq_25737169/article/details/79048516 版权声明：本文为博主原创文章，转载请附上博文链接！

作者：Double_V_ 来源：CSDN 原文：https://blog.csdn.net/qq_25737169/article/details/79048516 版权声明：本文为博主原创文章，转载请附上博文链接！

作者：Double_V_ 来源：CSDN 原文：https://blog.csdn.net/qq_25737169/article/details/79048516 版权声明：本文为博主原创文章，转载请附上博文链接！

参考了这个博客， 博主写的非常好     https://blog.csdn.net/qq_25737169/article/details/79048516

 

 

前言：Batchnorm是深度网络中经常用到的加速神经网络训练，加速收敛速度及稳定性的算法，可以说是目前深度网络必不可少的一部分。
本文旨在用通俗易懂的语言，对深度学习的常用算法–batchnorm的原理及其代码实现做一个详细的解读。本文主要包括以下几个部分。

 

第一节：Batchnorm主要解决的问题

---

首先，此部分也即是讲为什么深度网络会需要batchnormbatchnormbatchnorm，我们都知道，深度学习的话尤其是在CV上都需要对数据做归一化，因为深度神经网络主要就是为了学习训练数据的分布，并在测试集上达到很好的泛化效果，但是，如果我们每一个batch输入的数据都具有不同的分布，显然会给网络的训练带来困难。另一方面，数据经过一层层网络计算后，其数据分布也在发生着变化，此现象称为InternalInternalInternal CovariateCovariateCovariate ShiftShiftShift，接下来会详细解释，会给下一层的网络学习带来困难。batchnormbatchnormbatchnorm直译过来就是批规范化，就是为了解决这个分布变化问题。

1.1 Internal Covariate Shift

Internal Covariate Shift ：此术语是google小组在论文BatchBatchBatch NormalizatoinNormalizatoinNormalizatoin 中提出来的，其主要描述的是：训练深度网络的时候经常发生训练困难的问题，因为，每一次参数迭代更新后，上一层网络的输出数据经过这一层网络计算后，数据的分布会发生变化，为下一层网络的学习带来困难（神经网络本来就是要学习数据的分布，要是分布一直在变，学习就很难了），此现象称之为InternalInternalInternal CovariateCovariateCovariate ShiftShiftShift。

Batch Normalizatoin 之前的解决方案就是使用较小的学习率，和小心的初始化参数，对数据做白化处理，但是显然治标不治本。

1.2 covariate shift

Internal Covariate Shift 和CovariateShift具有相似性，但并不是一个东西，前者发生在神经网络的内部，所以是Internal，后者发生在输入数据上。Covariate Shift主要描述的是由于训练数据和测试数据存在分布的差异性，给网络的泛化性和训练速度带来了影响，我们经常使用的方法是做归一化或者白化。想要直观感受的话，看下图：

 

Covariate Shift 就是描述的输入数据分布不一致的现象，对数据做归一化当然可以加快训练速度，能对数据做去相关性，突出它们之间的分布相对差异就更好了。Batchnorm做到了，前文已说过，Batchnorm是归一化的一种手段，极限来说，这种方式会减小图像之间的绝对差异，突出相对差异，加快训练速度。所以说，并不是在深度学习的所有领域都可以使用BatchNorm，下文会写到其不适用的情况。

第二节：Batchnorm 原理解读

---

本部分主要结合原论文部分，排除一些复杂的数学公式，对BatchNorm的原理做尽可能详细的解释。

之前就说过，为了减小Internal Covariate Shift，对神经网络的每一层做归一化不就可以了，假设将每一层输出后的数据都归一化到0均值，1方差，满足正太分布，但是，此时有一个问题，每一层的数据分布都是标准正太分布，导致其完全学习不到输入数据的特征，因为，费劲心思学习到的特征分布被归一化了，因此，直接对每一层做归一化显然是不合理的。
但是如果稍作修改，加入可训练的参数做归一化，那就是BatchNorm实现的了，接下来结合下图的伪代码做详细的分析：

之所以称之为batchnorm是因为所norm的数据是一个batch的，

1.先求出此次批量数据xxx的均值
2.求出此次batch的方差
3.接下来就是对xxx做归一化

转载于:https://www.cnblogs.com/Lin-Yi/p/10406568.html