特征缩放（归一化Normalization）

一、引入特征缩放：

举个例子：如果数据集中有两个特征size、bedrooms，其中size范围是0–5，bedrooms范围是3–2000，试想这种不同特征取值范围差距很大的话会发生什么情况？有一种可能是会导致损失函数中w1参数轴会相对很短，w2轴会相对很长，这就导致三维损失函数很扁，用等高线损失图表示的话图像就会很扁：

如果用上述数据集进行训练，在梯度下降的时候计算偏导数（梯度）时会不准确，直接导致参数收敛速度变慢：

如何解决这个问题？答案就是使用特征缩放思想。

二、特征缩放介绍：

对于上面的例子，数据集中两个特征size、bedrooms的取值范围差别很大，我们可以将两个特征分别缩放到相同的取值范围内，这就是特征缩放。

例如将特征size、bedrooms的数据范围同时缩放到0–1区间内，这样的好处是参数值可取范围比较统一，等高线损失图相对更圆，在梯度下降时可以找到一条更直接的通往最优参数值（最小损失值）的路径，即梯度下降更快。

三、如何实现特征缩放：

注意是缩放特征，但是目的是为了使损失函数中参数可取范围统一，使得梯度下降更快。

1.分别除特征中最大值缩放到0—1：

2.均值归一化缩放到-1—1：

• μ1为该特征的均值

3.Z-Score归一化：

• μ1为改特征的均值
• σ为该特征的标准差

四、特征缩放合理范围：