斯坦福大学-机器学习20讲-第二讲

本课程主要分为四部分：

监督学习

理论证明

非监督学习

加强学习

本节课属于监督学习里面的内容，从一个房价估计的例子出发，来介绍梯度下降算法。对于梯度下降算法给出了两种方法来求解，第一种是常规的求解

方法；第二种使用矩阵来求解。对于常规方法，讲师只给出了公式，对于矩阵求解方法，详细写出了推导步骤。

梯度算法介绍：

常用在机器学习和人工智能中递归地逼近最优质。

沿梯度下降的方向求解最小值，通项公式是 ，其中系数是步长，步长要适中，太小会收敛过慢。

再举另外一个非常简单的例子，如求函数  的最小值。
利用梯度下降的方法解题步骤如下：
1、求梯度， 
2、向梯度相反的方向移动  ，如下
 ，其中，  为步长。如果步长足够小，则可以保证每一次迭代都在减小，但可能导致收敛太慢，如果步长太大，则不能保证每一次迭代都减少，也不能保证收敛。
3、循环迭代步骤2，直到  的值变化到使得  在两次迭代之间的差值足够小，比如0.00000001，也就是说，直到两次迭代计算出来的  基于没有变化，则说明此时  已经达到局部最小值了。

使用矩阵方法求解更加明了直观。

有时候很难找到要拟合的公式，这个时候线性回归方法已经不合适了，可以用局部加权回归来进行拟合。这就引出了下一节要讲的东西。