【特征缩放】机器学习专项课程学习记录3——特征缩放的四种方式

学习目标

学会对特征变量进行缩放。

笔记

1 为什么进行特征缩放（Feature Scaling）

加快学习曲线（Loss-iterations）收敛，减少振荡。观察下面的损失等高线图（cost contour plot），中心是损失最低点。不对特征进行缩放时（上图），等高线图非常不对称；特征缩放后，等高线图更加对称，表明梯度下降可以使得每个参数都平等地靠近损失最低点，此时也可以使用更大的学习率。

2 特征缩放的四种方式

最早的方式：适用于较为简单的特征。$$x_i:=\frac{x_i}{max}$$

通用方式：适用于任何特征。$$x_i:=\frac{x_i-min}{max-min}$$

均值标准化（Mean normalization）: $$x_i:=\frac{x_i-{\mu }_i}{max-min}$$
Z标准化（Z-score normalization）：将特征j的均值转化为0，标准差转化为1。其中，${\mu }_j$是特征j的均值，${\sigma }_j$是特征j的标准差。
$$x_j^{(i)}=\frac{x_j^{(i)}-{\mu }_j}{{\sigma }_j}$$

需要注意的地方

在对training set的数据进行缩放时，要注意保存max、min、$\mu$、$\sigma$等值，因为模型训练好后对dev set进行预测时还要再次使用这些值对dev set的特征数据进行缩放。