深度学习：batch normlization

https://www.zhihu.com/question/38102762/answer/607815171

数据经过归一化和标准化后可以加快梯度下降的求解速度，这就是Batch Normalization等技术非常流行的原因，它使得可以使用更大的学习率更稳定地进行梯度传播，甚至增加网络的泛化能力.

一、什么是归一化/标准化

Normalization是一个统计学中的概念，我们可以叫它归一化或者规范化，它并不是一个完全定义好的数学操作(如加减乘除)。它通过将数据进行偏移和尺度缩放调整，在数据预处理时是非常常见的操作，在网络的中间层如今也很频繁的被使用。

1. 线性归一化

最简单来说，归一化是指将数据约束到固定的分布范围，比如8位图像的0～255像素值，比如0～1。

在数字图像处理领域有一个很常见的线性对比度拉伸操作：  x减最小 除 最大减最小

X=(x-xmin)/(xmax-mxin)

它常常可以实现下面的增强对比度的效果。不过这个的归一化方法有个非常致命的缺陷，当X最大值或者最小值为孤立的极值点，会影响性能。