（四）梯度下降算法实践技巧

特征缩放（Feature Scaling）

---

特征量纲差异的影响

举例（房价数据）：
根据房屋尺寸$x_1(fee{t}^2)$的数据范围分别为300～2000，和房间数量$x_2(个)$的数据范围分别为0～5，预测房屋价格$y(price)$。如一条房屋数据为$x_1=2000,x_2=5,price=500k$。
较好的线性回归拟合模型为$price(500k)=0.1\ast 2000+50\ast 5+50$，这里$w_1=0.1,w_2=50$。

下图展示了不同的特征数据范围对应的模型参数范围，数据范围越大对应的参数范围就越小，数据范围越小对应的参数范围就越大。（这也是为什么不进行特征缩放的模型参数无法反映该特征的重要性）。
直观理解：
房屋尺寸由于数据大，所以它比较小的变动就会对结果产生影响，对应参数范围变动就要小；
房间数由于数据小，所以它需要比较大的变动才能对结果产生影响，对应的参数范围变动就要大。

下图展示了如果不进行特征缩放，梯度下降算法会反复横跳。
原因：特征间的数据差距太大，根据偏导数公式$\frac{\partial J(\vec{w},b)}{\partial w_j}=\frac{1}{m}{\sum }_{i=1}^m(f_{\vec{w},b}({\vec{x}}^{(i)})-y^{(i)})x_j^{(i)}$，当学习率$\alpha$确定时，数据范围$x_j$大的特征对应参数$w_j$更新幅度就大，导致整体方向会偏向更新幅度大的偏导数方向，并不是指向最小值的方向，所以会反复横跳，导致收敛速度会慢。当进行特征缩放时，各个特征量纲一致，计算的偏导数方向基本比较稳定（始终指向最小值），就能比较快的到达最优点。

---

特征缩放的方法

1. 最大值标准化
   如：$300\le x_1\le 2000,0\le x_2\le 5$
   则：$x_{1,scaled}=\frac{x_1}{2000},x_{2,scaled}=\frac{x_2}{5}$
   得：$0.15\le x_{1,scaled}\le 1,0\le x_{2,scaled}\le 1$
2. 均值标准化
   如：$300\le x_1\le 2000,{\mu }_1=600；0\le x_2\le 5,{\mu }_2=2.3$
   则：$x_{1,scaled}=\frac{x_1-{\mu }_1}{2000-300},x_{2,scaled}=\frac{x_2-{\mu }_2}{5-0}$
   得：$-0.18\le x_{1,scaled}\le 0.82,-0.46\le x_{2,scaled}\le 0.54$
3. Z-score标准化
   如：$300\le x_1\le 2000,{\mu }_1=600,{\sigma }_1=450;0\le x_2\le 5,{\mu }_2=2.3,{\sigma }_2=1.4,$
   则：$x_{1,scaled}=\frac{x_1-{\mu }_1}{{\sigma }_1},x_{2,scaled}=\frac{x_2-{\mu }_2}{{\sigma }_2}$
   得：$-0.67\le x_{1,scaled}\le 3.1,-1.6\le x_{2,scaled}\le 1.9$

最大值标准化

均值标准化

Z-score标准化

判断是否标准化

判断梯度下降算法是否收敛（Convergence）

---

一般有两种方法判断：

• 看迭代图，下面左图中红色部分就是收敛了（推荐这种，比较直观且容易发现错误）
• 设置一个阈值$\epsilon$，当每次迭代后$J$的减少值小于$\epsilon$，就说是收敛了（通常情况下$\epsilon$比较难以确定）

注：当使用批梯度下降算法（batch gradient descent）发现每次迭代$J$有增大情况，则查看是否代码错误或学习率$\alpha$是否设置得当，因为$J$每次迭代应该减少。

如何设置学习率（Learning Rate）

---

当设置一个很小的学习率$\alpha$时，梯度下降算法理论上每次迭代都会使代价函数$J$变小，如果没有变小的话就看是否代码有误。但当学习率$\alpha$很小时算法的收敛速度会变慢。所以我们可以多次尝试选择合适学习率$\alpha$，如先设置$\alpha =0.001$，然后每次乘以3，得到$0.003,0.01,0.03,0.1,0.3,1$，观察不同学习率下的收敛情况然后选择合适的学习率$\alpha$。