吴恩达机器学习笔记1

1.监督与无监督学习
监督学习分为线性回归和定位。
线性回归可以概括为，依据离散点的分布来绘制一条能大致描述其规律的线（曲线或直线），定位可以概括为，对于给定的数据集和分类标准，将数据集按分类标准进行区分。之所以说这两者是监督学习，是因为训练的目的是人为控制的。在线性回归中，给定一定的参数，可以推测出要预测的某个解；在分类中，给定一个数据，可以预测其在哪个范围内。
线性回归的结果是连续的，而定位的结果是离散的。

无监督学习则是，给机器一定的数据，机器会按照“自己的方式”对数据进行分类，其分类标准不是预先设定的。

2.训练过程概述
从训练集中得到预测函数，输入参数到函数中得到预测结果：

--------------------------训练过程示意图------------------------------------------------------

3.代价方程
以单变量线性回归为例，假设线性回归方程为：

代价可以理解为该方程预测分布和实际数据集分布之间差异大小，需要用一个公式来量化它，这里用的是：

对于每一个变量x(共m个），通过计算预测函数h得到的结果，与实际数据y二者之间差值的平方，除以2m来量化。除以2m的意图只是让结果值小一些，实际上不除也能衡量“误差”，即代价的大小。2m中的2的意义在之后的求导步骤会解释。

4.梯度下降法
有了代价方程之后，下一步就是利用它找到代价最小的某个或某些点。
代价函数的图像可能是这样的：

也可能是这样的：

很显然前者有一个最低点，后者有若干个局部最低点。还有的代价函数难以用可视化图形的方法表示出来。

梯度下降法的要义在于，对于给定的一组参数（可以是任意的），它的代价如果不是最小的，那么该算法能够不断地在“代价函数山”上找到一处更低点，将参数更新为该点对应的参数。之后，再重复上述过程，直到找到一条“下山的路”。大约是这样

还是以单变量线性回归方程为例，其梯度下降方程为：

其中，α表示每一次移动的跨度。代价函数J显然是一个关于两个参数θ1和θ0的函数，那么关于其中某个参数求偏导的意义是显然的：如果对θ0的偏导为正数，代表朝着θ0的轴移动将会使代价函数增大，而我们得目的是时代价函数取到最小，所以前面带着的是负号。此时阿尔法的含义也变得很显然了。

α的取值如果过小，那么每次移动就会是很小的一步，显然，“下山”的过程将变得漫长。如果α取值过大，就有可能直接越过最低点。最坏的情况下，这会使你的代价J变得越来越大，考虑一下什么情况下会这样？

假定我们取到了一个合适的α值，再观察梯度方程。根据微积分里的知识，在局部存在一个极小值点的，该点的导数为0，也就是在靠近那一点的过程中，梯度方程中偏导的那一项会在某一时刻开始逐渐变小，并最终不断趋于0。在此过程中，对θ的修正幅度也越来越小，最终结果就是收敛于局部最低点。

将梯度函数变形为如下形式以方便计算：

可以看到，求导的过程中，二次方提出来的2将分母的2消去了，这解释了前面的疑问。