辨析：Normalization（规范化） V.S. 归一化 V.S. Standardization（标准化） V.S. Regularization（正则化)

辨析：Normalization（规范化） V.S. 归一化 V.S. Standardization（标准化） V.S. Regularization（正则化)

包含关系：

Normalization（规范化，也叫归一化，但实际上很多操作都不是归到一的，所以称为规范化更准确一点，包含两个操作，shift(移动) + scale(缩放)）

• Min-Max Normalization（最大最小归一化）：$x^{\prime }=\frac{x-X_{min}}{X_{max}-X_{min}}\in [0,1]$
• mean normalization（平均归一化）：$x^{\prime }=\frac{x-\mu }{X_{max}-X_{min}}\in [-1,1]$，
• Standardization（标准化，一种特殊的规范化，也叫Z-Score Normalization）
  • Batch Normalization（批归一化）、Layer Normalization（层归一化）：这两个都是特殊的标准化，针对不同的数据集合进行操作

下面这两个是凑热闹的

• Regularization（正则化)：在loss中添加正则化项，约束模型参数，有效的防止过拟合。
• Generalization（泛化）：归纳式学习中，用于描述模型把从训练集学习到的知识应用到测试集上的能力。

参考：

• https://zhuanlan.zhihu.com/p/112509178
• https://www.geeksforgeeks.org/normalization-vs-standardization/