归一化和标准化

相同点

两者都是通过先平移（分子相减）、后缩放（分母）实现；本质上都是进行特征提取，缩小范围，便于后续的数据处理。

两者都能加快梯度下降、损失函数收敛，提升模型精度， 防止梯度爆炸(消除因为输入差距过大而带来的输出差距过大，进而在反向传播的过程当中导致梯度过大，从而形成梯度爆炸)

不同点

• 概念
  归一化将数据规约到（0,1）或者（-1,1）区间，而标准化将数据规约为均值为0、标准差为1的分布上。

• 实现形式
  归一化
  $$x_{new}=\frac{x-x_{min}}{x_{max}-x_{min}}$$
  标准化
  $$x_{new}=\frac{x-\mu }{\sigma }$$

• 缺点
  归一化保留了权重，但丢失了数据的分布信息和数据之间的距离；而标准化丢失了权重（分母间接代表权重），但保留了数据之间的分布的距离。

• 使用场景
  归一化适用于：1. 小数据/固定数据的使用；2. 不涉及距离度量、协方差计算、数据不太符合正态分布时； 3. 进行多指标综合评价的时候。
  标准化适用于：1. 在分类、聚类算法中，需要使用距离来度量相似性的时候、或者使用PCA技术进行降维的时候，标准化方法表现更好；2. 有超出取值范围的离散数据（也有可能单个指标当中的数据）或对最大值、最小值未知的情况。