标准化和归一化的理解

​

活动地址：CSDN21天学习挑战赛

在深度学习训练数据中通常会对数据进行标准化或归一化的处理，使数据更好的训练出准确的模型。

1、 标准化

数据的标准化（normalization）将数据按比例缩放，使之落入一个小的特定区间；缩放与每个点都有关。

其中最典型的数据标准化处理就是数据的归一化，即将数据统一映射到[0,1]区间上。

最常见的标准化方法就是Z（z-score）标准化，也叫标准差标准化，这种方法给予原始数据的均值（mean）和标准差（standard deviation）进行数据的标准化。经过处理的数据变为均值为0，标准差为1的分布。

转换函数为：

其中μ为所有样本数据的均值，σ为所有样本数据的标准差。

2、归一化

归一化把数变为（0，1）之间的小数；缩放仅仅跟最大、最小值的差别有关。

• ​归一化就是标准化的特例，即将数据统一映射到[0,1]区间上。
• 一般来说用的是min-max归一化，缩放到0-1之间，即：
  对于图片来说，由于max是255，min是0，也就是直接除以255就可以完成归一化。

3、标准化和归一化的作用

归一化与标准化是特征缩放的两种形式，其作用是：

• 使不同量纲的特征处于同一数值量级，减少方差大的特征的影响，使模型更准确。
• 加快学习算法的收敛速度。

4、对比