ML-第三天

Gradient Descent

梯度下降（Gradient Descent）对整个ML都是很重要的。梯度下降的作用是得出是代价函数的值最小的参数$\ \theta_j$.

REVIEW –about cost function:

The Cost function is like:

$$J(\theta_0,\theta_1,\theta_2,...,\theta_n)=\dfrac{1}{2m}\sum^m_{i=1}(h_\theta(x^{(i)}_j)-y^{(i)})^2 \tag{1}$$
The variable $\ m$ is the number of training set. (Why times 1/2?->for the convenience of computing the Gradient Descent)

其中，

$$h_\theta(x^{(i)})=\theta_0+\theta_1 x_1^{i}+\theta_2 x_2^{i}+...+\theta_n x_n^{i} \tag{2}$$
（ $\ i$ 表示第i组数据）。这是我们要求的最佳回归线。

关于梯度下降：

梯度下降用于不断更新参数$\ \theta_0,\theta_1,...,\theta_n$ 来让代价函数最小，其方法是：

$$\theta_j :=\theta_j-\alpha \dfrac{\partial }{\partial \theta_j}J(\theta_0,\theta_1,...,\theta_n) \tag{3}$$

($\ \alpha$ ->learning rate)最终等于：

$$\theta_j :=\theta_j-\alpha \dfrac{1}{m}\sum^{m}_{i=1}(\sum_{j=0}^{n}h_\theta(x^{(i)}_j)-y^{(i)})x_j \tag{4}$$
or:
$$\theta_j:=\theta_j-\alpha \dfrac{1}{m}\sum_{i=1}^{m}(X \theta^T) \tag{5} \\ X= \left[ \begin{matrix} x_{10}&x_{11} & x_{12} & \cdots &x_{1,n}\\ x_{20}&x_{22}&x_{22}&\cdots&x_{2n}\\ \vdots &\vdots&\vdots&\ddots&\vdots\\ x_{m,0}&x_{m,1}&x_{m,2}&\cdots&x_{m,n} \end{matrix} \right] \\ \theta= \left[ \begin{matrix} \theta_0&\theta_1&theta_2\cdots&\theta_n \end{matrix} \right]$$
其中，定义： $\ x_0^{(i)}=1$.

梯度下降的思路：

好比说一个二次函数：

$$y=ax^2+bx+c \space\space\space\space(a!=0)$$
先任意取一个值 $\ x$，然后测它的导数，若大于零，那么要使 $\ y$的值变小，必须要让 $\ x$变小，若小于零，则是 $\ x$ 变大。当 $\ x$ 正好处于函数的对称位置（函数值最小），那么有导数等于零。

Learning Rate:

$\ \alpha$ 就是所说的 Learning Rate。Learning Rate 的用处，在于让ML更有效。当$\ \alpha$过大，那么可能在某一步时越过最低点，甚至会让代价函数越变越大。在ML过程中，根据Cost Function 的变化来检测梯度下降是否正确，也根据此来更正$\ \alpha$。

Features Scaling:

除了Learning Rate 外，不标准的参数也会导致ML的梯度下降过程出错。因此，有必要放缩各个变量数据，让它们的变量域相接近。基本保持在$\ [-1,1]$之间。方法是：

$$x_j^{(i)}=\dfrac{x_j^{(i)}-\bar{x_j}}{RangeOf\space x_j}$$

另一种求参数$\ \theta_0,\theta_1,\cdots\theta_n$的方法

简单说，就是：

$$\theta=(XX^T)^{-1}X^Ty$$
不知道为什么。