机器学习（吴恩达网易公开课）第2课 监督学习应用：梯度下降

（纯属学习交流之用，不足之处还请指正）

这节课首先介绍了今后课程要用到的一些定义，然后讲解了批梯度下降和随机梯度下降，最后讲解了一些线性代数的知识，简化了数学表达。

基本思想：在问题中我们一般都会有个假设函数h（θ），我们的目标是找到合适的参数θ使得假设函数与训练集合很好的拟合，而方法就是通过训练集合和假设函数来构造一个误差函数（梯度下降中采用的是线性函数），通过不断改变参数θ来优化假设函数，使其达到最佳。在这里，改变参数θ的方法就是梯度下降。

梯度下降：个人理解利用的是微积分的思想，就是对误差函数求一阶微分，然后选定步长一步一步地去改变（类似于积分）。（至于梯度上升，那么就是一个是减法一个是加法的区别了，很好理解）

批梯度下降（batch gradient descent）:批梯度下降是针对于训练集合不特别大的情况下的，因为在批梯度下降中每一次迭代（即更新参数θ）都需要遍历整个训练集合，对于很大的训练集合这个代价是很大的。

随机梯度下降（增量梯度下降）：适用于训练集合很大的情况，每次迭代只需要一个训练样本，更容易收敛到局部极值。（数学证明有待以后深究）

1、如何检测收敛？

检验两次迭代，如果两次迭代中试图最小化的量（如误差函数）不再发生很大的变化，即可判断收敛。

2、在接近局部最小值时，为何步长会越来越小？

通过前面的理解可知，接近局部最小值即接近极值，而在接近极值的过程中函数的一阶微分（梯度）的绝对值是不断减小的，直至到达极值变为0，所以步长是越来越小的。 

线性代数部分，内容比较基础，学过线性代数的话很好理解。