特征缩放：归一化 and 标准化

不管归一化还是标准化等等，都是一种特征缩放的操作。

特征缩放的本质：数据的偏移和缩放（都是一种线性变化），不管是归一化还是标准化，都一样，只不过由于方法的不同可能有些进行偏移有些进行缩放，有些进行偏移和缩放。

直接结果：数据尺度或者分布的变化，例如归一化改变数据的尺度，标准化改变数据的分布和尺度。 当数据没有极端值的时候可以使用归一化来做尺度的变化，有极端值的时候可以使用标准化，因为标准化中均值和方差是基于整体数据计算得到，不太受极端值的影响。

意义：一些函数对数值比较敏感，例如sigmoid，数值太大或者太小都容易达到它的饱和区，从而导致一系列问题，例如作为损失函数时可能出现梯度消失或者爆炸的问题。例如softmax，在attention中，过大或者过小的值都会使得权重向量趋向于onehot向量。例如一些涉及距离计算的算法：knn、聚类等，若使用欧式距离，特征之间尺度相差太大，在一些不注重数值差距的场景下，很不合适。尺度差距大对模型的收敛速度会有影响。许多模型的权重会适应输入值，而正则化时所有权重的处罚程度一致，这可能会导致一些尺度大的特征对应的权重值很小，导致惩罚项变小，最终导致权重被loss忽略。在DNN的训练过程中各层输出的分布是在不断变化的，这加大了网络的训练难度，下层的网络要不断适应不同的输入分布，参数的不断调整又影响其它层。因此会有BN、LN等方法进行标准化。

一篇探讨标准化的文章 https://zhuanlan.zhihu.com/p/265411459

一篇介绍BN、LN的文章 https://zhuanlan.zhihu.com/p/33173246