机器学习笔记--吴恩达机器学习课程2 - 4

代价函数最小化方法之梯度下降法

对于线性回归的代价函数

梯度下降法对代价函数的每一个参数求偏导，梯度下降法的梯度是一个向量，向量的每一项代表的都是对应的代价函数的一个参数的偏导数，是一个整体，故梯度下降时必须同时对代价函数的每个参量的偏导数做下降，而不能分别做下降。

eg:

对于上式，梯度下降法：

其中:=是赋值的意思，对参量1和参量2同时做更新。