机器学习(二)梯度下降

在上一节（线性回归）中介绍，在线性回归中参数值$\theta$是不一定可以求出的，但是可以通过梯度下降的方式可求。

在微积分里面，对多元函数的参数求偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数$f(x,y)$, 分别对x,y求偏导数，求得的梯度向量就是$(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y}{)}^T$,简称grad f(x,y)或者$\nabla f(x,y)$。对于在点$(x_0,y_0)$的具体梯度向量就是$(\frac{\partial f}{\partial x_0},\frac{\partial f}{\partial y_0}{)}^T$.或者$\nabla f(x_0,y_0)$，如果是3个参数的向量梯度，就是$(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y},\frac{\partial f}{\partial z}{)}^T$,以此类推。

那么这个梯度向量求出来有什么意义呢？他的意义从几何意义上讲，就是函数变化增加最快的地方。具体来说，对于函数$f(x,y)$,在点$(x_0,y_0)$，沿着梯度向量的方向就是$(\frac{\partial f}{\partial x_0},\frac{\partial f}{\partial y_0}{)}^T$的方向是$f(x,y)$增加最快的地方。或者说，沿着梯度向量的方向，更加容易找到函数的最大值。反过来说，沿着梯度向量相反的方向，也就是 $-(\frac{\partial f}{\partial x_0},\frac{\partial f}{\partial y_0}{)}^T$的方向，梯度减少最快，也就是更加容易找到函数的最小值。

假设目标函数$J({\theta }_0,{\theta }_1)=\frac{1}{2m}{\sum }_{i=1}^m(h_{\theta }(x^{(i)}-y^{(i)}{)}^2)$。

为什么要除以样本个数$m$?
假如有1万个样本，那么会得到一个目标函数$J(\theta {)}_1$，10万个样本，得到一个目标函数$J(\theta {)}_2$，那么10万个样本的损失值一定比1万个样本的损失值大，但不能说10万个样本的模型不好，因此需要算一个平均值$\frac{1}{m}$。

我们的目标就是要寻找最低点，什么样的参数能使得目标函数达到最低点？

当开始的时候，是一个随机点：

1. 找到当前最合适的方向
2. 走一小步，如果走快了就“跌倒”了
3. 按照方向与步伐去更新参数

批量梯度下降GD

在上面的说法中，要综合考虑所有的样本，每个样本都需要参与计算，这个计算量是非常大的，很难进行迭代，虽然很容易得到最优解。
$$\frac{\partial f}{\partial {\theta }_i}=-\frac{1}{m}\sum _{i=1}^m(y^i-h_{\theta }(x^i))x_j^i$$

$${\theta }_j^{\prime }={\theta }_j+\frac{1}{m}\sum _{i=1}^m(y^i-h_{\theta }(x^i)x_j^i)$$

随机梯度下降SGD

每次找一个样本，迭代速度快，但不一定每次都朝着收敛的方向，无法判断好坏。
$${\theta }_j^{\prime }={\theta }_j+(y^i-h_{\theta }(x^i))x_j^i$$

小批量梯度下降

每次更新选择一小部分数据来算，比较实用。首先打乱顺序，然后每次拿10个数据
$${\theta }_j:={\theta }_j-\alpha \frac{1}{10}\sum _{k=i}^{i+9}(h_{\theta }(x^{(k)}-y^{(k)}))x_j^{(k)}$$