什么是Batch Normalization？

• 深度学习的一个本质问题

• Internal Covariate Shift

• 什么是BN

深度学习的一个本质问题

深度神经网络一直以来就有一个特点：随着网络加深，模型会越来越难以训练。所以深度学习有一个非常本质性的问题：为什么随着网络加深，训练会越来越困难？为了解决这个问题，学界业界也一直在尝试各种方法。

sigmoid作为激活函数一个最大的问题会引起梯度消失现象，这使得神经网络难以更新权重。使用ReLu激活函数可以有效的缓解这一问题。

对神经网络使用正则化方法也能对这个问题有所帮助，使用dropout来对神经网络进行简化，可以有效缓解神经网络的过拟合问题，对于深度网络的训练也有一定的帮助。ResNet使用残差块和skip connection来解决这个问题，使得深度加深时网络仍有较好的表现力。

BN本质上也是一种解决深度神经网络难以训练问题的方法。

Internal Covariate Shift

机器学习的一个重要假设就是IID(Independent Identically Distributed)假设，即独立同分布假设。所谓独立同分布，就是指训练数据和测试数据是近似于同分布的，如若不然