机器学习笔记（6）—特征缩放

特征缩放

用两个特征对房子的价格进行预测，x1是房子大小，x2是卧室数量
假设房子真实的价格是500k，左右两边分别是不同的参数对价格的预测，可以看出右边的预测更加合理
当一个特征的范围很大时，比如房子大小最大到2000，一个好的模型可能会选择一个比较小的参数值，比如0.1，同样，当特征的可能值很小时，比如卧室的数量，其对应参数合理值会比较大

左图是散点图，可以看出横轴非常密集，右图是关于代价函数的等高线图，可以看出是个扁平的椭圆，因为w1的一个非常小的变化会对代价J有很大的影响，因为w1要乘以一个很大的数，相比之下，w2的变化要非常大才能影响预测结果，即变量x的取值范围会影响其系数w的取值

造成的结果是，使用梯度下降法，使用这些训练数据，在找到全局最小前，梯度下降可能会长时间反复横跳
有效的做法是缩放特征，对训练数据进行转换，缩放到0~1，是左下角的图，如果使用缩放后的数据x1和x2进行梯度下降，等高线图会更加圆，梯度下降法可以直接找到路径到达全局最小

如何进行特征缩放

对x1进行缩放的一种方法是，对每一个x1的初始值除2000（最大值），x1的范围会变成0.15 ~ 1，同样的x2的范围变成0~1

除了除以最大值外，还可以做均值归一化，从这些最初的特征出发，然后重新缩放他们，使这两个特征以0为中心，范围通常在-1 ~ 1之间
为了计算均值归一化，需要先找到平均值，也称为x1在训练集上的均值，称为μ₁，μ₁是600，取每个x1减去均值除以（2000-300）的差值，就会得到x的归一化，x2也是同样的操作（μ₁和μ₂并没有算，是举出的数值）

第三种缩放，Z-score标准化（Z-score标准化/规范化），为了实现它，需要为每一个特征计算标准差
先计算标准差和μ₁，用σ表示标准差，例如w1的标准差是450，均值600，然后Z-score标准化x1，用x₁-μ₁/σ₁，标准化后的范围是-0.67~3.1

在进行特征缩放时，最好把目标定为每个特征的取值范围定在-1~1附近，也可以缩放到别的区间，太大和太小都需要进行缩放，这会使梯度下降跑的更快