Stanford 机器学习 第二讲：监督学习应用：梯度下降

目录：

1、线性回归

2、梯度下降

3、正规方程组

 

1、线性回归

符号介绍

m:训练样本的数目  数据的行数          x:输入变量/特征‘        y:输出变量/目标变量’       (x,y)表示一个样本

在监督学习中，先找到一个训练集合(由训练样本所组成的集合)，提供给学习算法，之后算法会生成一个输出函数(h)。

这个假设h(输出函数)的目的是将输入x映射到输出y。如输入是房屋的大小，输出是房屋的价格。(回归问题)

设计学习算法的第一步：决定应该怎样表示假设。(本章对假设进行线性表示)       

由于许多回归问题有很多参数，如除了房子的大小之外，还有房子的卧室数量。

x1 = size ,x2 = nbedrooms     

为了简洁，整个公式定义为                           

                                                             

其中n表示学习到的特征数目      θ被称为学习算法的参数

利用学习算法学习到合适的参数值是学习算法的主要目的。

 

如何选取参数：(搜索算法)

1、先给参数值一个初始值，比如可以初始化为0向量。

2、不断改变参数向量，使得J不断减小J(θ)(目的：找到最小的J(θ)值)。

3、梯度下降算法(不断的重复向最陡的方向下降的步骤)

 

2、梯度下降

梯度下降的结果有时候会依赖参数初始值，梯度下降每次找参数下降最快的，即梯度方向，梯度下降方法最终一定会停止。

                                  

每次迭代更新参数时，需要使用全部的训练样本，即批处理梯度下降算法。

由于上述算法处理相对较慢，因此出现随机梯度下降算法:即一次仅使用一个训练样本更新所有参数。

当接近最小值时，步子会原来越小，直到收敛(因为梯度在逐渐减小，慢慢变为零)。

 

3、正规方程组

 若存在一个函数f，使得对于矩阵A，存在f(A) = trAB，则有   

正规方程组表示：