【Machine Learning公开课】Chapter 2

这一讲Ng给我们讲了什么是有监督学习，以及一种常用的求最值方法：梯度下降法。

首先我们回顾下一个简单的机器学习过程：首先给出一个输入数据,我们的算法会通过一系列的过程得到一个估计的函数,这个函数有能力对没有见过的新数据给出一个新的估计,也被称为构建一个模型。我们用 X1,X2..Xn 去描述 feature 里面的分量,比如 x1=房间的面积,x2=房间的朝向, 等等,我们可以做出一个估计函数:

$h(x)=h_\theta(x)=\theta_0x_0+\theta_1x_1+\theta_2x_2$
PS:此处$\theta$代表参数，这里令$x_0$=1,则有:

$h(x)=\theta^TX$(向量表示法）

因为我们的目的是得到最优的$\theta$,于是不妨定义一个均方误差函数J来评估$h_\theta(x)$，J的定义如下：

$J(\theta)={1 \over 2}\sum_{i=1}^m[h_\theta(x^{(i)}-y^{(i)})]^2$
PS：公式前面乘1/2是为了之后求导方便

那么，我们的目的是得到使J($\theta$)取到最小值的$\theta$，即归结于求最小值问题，方法很多，这一讲Ng用的是梯度下降法。

那么什么是梯度下降法呢？
step1. 对 θ 赋值,这个值可以是随机的,也可以让 θ 是一个全零的向量。
step2. 改变 θ 的值,使得 J(θ)按梯度下降的方向进行减少，直至收敛。

梯度方向由 J(θ)对 θ 的偏导数确定,由于求的是极小值,因此梯度方向是偏导数的反方向。 结果为:

$\theta_j:=\theta_j+\alpha(y^{(i)}h_\theta(x^{(i)}))x_j^{(i)}$
PS: 这里符号:=表示的是把左边变量的值设为右边变量的值，符号$\alpha$代表学习速率，可以手工设置，它控制了步子迈的有多大，设置的太小，则每步迈的步子很小，算法收敛速度很慢，设置的太大，则可能会越过最小值。

那么梯度下降法就是一个不断迭代更新的过程，其中有两种方法：
1.批梯度下降
对全部的训练数据求得误差后再对 θ 进行更新。
2.随机梯度下降
每扫描一步都要对 θ 进行更新，每次更新只用取一个$\theta$,减少运算量，但可能无法收敛至最小点处。

总结：梯度下降法收敛速度比较慢，而且容易陷入局部最优。