Coursera Machine Learning 课程笔记之第二周：梯度下降详解

---

第二周：梯度下降详解

特征缩放(Feature Scaling)和均值归一化(Mean normalization):

就是对于每一个类型的数据做处理：

$$\frac{x - u_均}{ max(x) - min(x) }$$
除以他们的范围是特征缩放，目的是让Cost Function更为规则（在二维的情况下是一个正圆，三维是是一个正球…），越规正的图像越有一个固定的梯度下降方向越容易收敛。

学习速率(Learning Rate):

$\alpha$的取值就决定了学习速率，过大会不收敛，过小会收敛速率慢。通常需要$0.0001, 0.0003, 0.001, 0.003....$这样每次扩大三倍来找这个最优值。
在判断是否已经收敛到当前极小值的时候通常可以用自动收敛测试(Automatic convergence test)算法来检测,当然也可以直接观察图像(plot).

多项式回归分析(Polynomial Regression):

在做回归分析的时候，线性函数往往都不是最优的模型，所以有时候我们会观察数据，以给设定一个多项式的模型是Cost Function的值尽可能的小。在设定为多项式函数模型的时候要尤其注意特征缩放(Feature Scaling)，让该数据在$n$次之后的范围在1左右。
比如对于一个$x$它的范围是$[1, 1000]$,那么它在特征缩放的时候就该除以$\sqrt{1000}$

正规方程(Normal Equation):

就是通过求解一个线性方程组的方法来得到这些未知参数。

$$\theta = (x^T* x)^{-1}*x * y$$
可以说在特征向量的维度小于( $10^4$)的时候正规方程法是比，梯度下降(Gradient Descent)更优秀的方法，但是数据量过大它的复杂度会太高。