归一化，标准化与正则化

1. 归一化（Normalization）

归一化 (Resaling) 一般是将数据映射到指定的范围，用于去除不同维度放入量纲以及量纲单位。

常见的映射范围有 [ 0, -1 ] 和 [ -1, 1],最常见的归一化方法就是 Min-Max 归一化：

2. 标准化（Normalization）

最常见的标准化方法：Z-Score 标准化。

其中μ是样本均值，σ是样本数据的标准差。

上图则是一个散点序列的标准化过程：原图 -> 减去均值 -> 除以标准差。
显而易见，变成了一个均值为 0 ，方差为 1 的分布，下图通过 Cost 函数让我们更好的理解标准化的作用。

机器学习的目标无非就是不断优化损失函数，使其值最小。在上图中，J (w, b) 就是我们要优化的目标函数。

我们不难看出，标准化后可以更加容易地得出最优参数 w 和 b 以及计算出 J (w, b) 的最小值，从而达到加速收敛的效果。
注：上图来源于 Andrew Ng 的课程讲义

3. 正则化（Regularization）

正则化主要用于避免过拟合的产生和减少网络误差。

正则化一般具有如下形式：

其中，第1项是经验风险，第2项是正则项，λ>=0 为调整两者之间关系的系数。

第1项是经验风险较小的模型可能较复杂（有多个非零参数），这时，第2项的模型度会较好。

常见的正则项有L1正则和L2正则，其中L2正则的控制过拟合的效果比L1正则的好。

正则化的作用是选择经验风险与模型复杂度同时较小的模型。

$L_p$范数：$L_p$正则的L是指$L_p$范数，其定义是：

在机器学习中，若使用了$||w|{|}_p$作为正则项，我们则说该机器学习引入了$L_p$正则项。

L1 正则 Lasso regularizer

• 凸函数，不是处处可微
• 得到的是稀疏解（最优解常出现在顶点上，且顶点上的w只有很少的元素是非零的）

L2 正则 Ridge Regularizer / Weight Decay

• 凸函数，处处可微
• 易于优化

参考链接

知乎：https://zhuanlan.zhihu.com/p/29957294