代价函数最小化方法之梯度下降法
对于线性回归的代价函数
梯度下降法对代价函数的每一个参数求偏导,梯度下降法的梯度是一个向量,向量的每一项代表的都是对应的代价函数的一个参数的偏导数,是一个整体,故梯度下降时必须同时对代价函数的每个参量的偏导数做下降,而不能分别做下降。
eg:
对于上式,梯度下降法:
其中:=是赋值的意思,对参量1和参量2同时做更新。
代价函数最小化方法之梯度下降法
对于线性回归的代价函数
梯度下降法对代价函数的每一个参数求偏导,梯度下降法的梯度是一个向量,向量的每一项代表的都是对应的代价函数的一个参数的偏导数,是一个整体,故梯度下降时必须同时对代价函数的每个参量的偏导数做下降,而不能分别做下降。
eg:
对于上式,梯度下降法:
其中:=是赋值的意思,对参量1和参量2同时做更新。