方差代价函数到梯度下降函数

在学习NG的机器学习课程中前段比较重要的两个概念一个是代价函数一个是梯度下降函数；记录下自己的理解。

   -->预测函数

y为结果集（训练集）

代价函数就是预测结果与实际结果的方差：

当θ取值促使代价函数越小是说明预测函数与结果越契合，也就是当找到代价函数的极小值时θ取值最合适，则代价函数的导数趋近与零时θ越合适

由上面的理论得到对代价函数求θ得偏导，然后针对性的变化θ的值使偏导趋近于零就是整个梯度下降的过程了

以上就是梯度下降函数了；

函数共有两项：θ本身和后面的减数；

高中的导数知识：当函数递增时导数大于零当函数递减时导数小于零，而上面提到的针对性的改变θ的值也就是当向导数为零的方向变化因此才有了将θ本身减去导数部分的变化方向。