Parameter Learning

Gradient Descent 梯度下降算法
在之前，我们了解过关于代价函数J的图形，现介绍一种寻求J极值的办法

先在图中任意取一点，然后反复迭代以下公式，直到达到极值。可以类比于下山，站在山的某一处，你每下一步山都寻找你所在位置下山最快的方向，或者说是坡度最大的方向，直到山谷。

式子中j=0或1，α表示学习速率，可以理解成每次下山步子的大小，它控制我们以多大的幅度更新参数θj。需要注意的是，当初始点选取的有一点偏差时，最终计算得到的极值也会不同。以及，θ0,θ1是同步更新的，即通过当时的参数值计算出所有下一次的参数值并同步更新，进行下一次迭代。但是我们在线性回归中提出的优化问题只有一个全局，没有其他局部最优值；因此梯度下降总是收敛到全局极小值（假设学习速率α不太大）。
α不宜选取过大或过小，过小会导致迭代次数过多，而过大可能导致最终结果无法收敛甚至发散（在接近极值时由于α过大，可能会越过极值点）。
其中偏导的计算可应用以下公式：