在线性回归中,我们使用平方误差损失函数,其形式为:
其中 hθ(x)=θ0+θ1x 是假设函数,表示模型的预测值。
为了找到损失函数的最小值,我们可以使用梯度下降算法。
梯度下降算法——需要计算损失函数对每个参数的偏导数(梯度),然后沿着梯度的反方向更新参数。
在梯度下降算法的每一步中,我们都会根据这些偏导数的值来更新参数,直到找到损失函数的最小值或达到某个停止条件。
偏导数:表示函数对某一变量的变化率,,当其他变量保持不变时
在线性回归中,我们需要计算损失函数 J 对参数 θj 的偏导数,其中 j 可以是 0 或 1。
1. j=0时
这里,因为 hθ(x)=θ0+θ1x,且对 θ0 求导时,θ1 和 x 都视为常数,求导为0消失,所以 hθ(x) 对 θ0 的导数是 1,x 的项消失了。
即:j=0时,hθ(x) 对 θ0 的导数是 1
2. j=1时
这里,因为 hθ(x)=θ0+θ1x,且对 θ1 求导时,θ0 视为常数,而 x 是与 θ1 相乘的变量,所以 hθ(x) 对 θ1 的导数是 x。
即,j=1时, hθ(x) 对 θ1 的导数是 x
tip:在线性回归的损失函数中,y(i) 是第 i 个训练样本的真实目标值,它是一个常数,而不是变量。所以求导后为0,消失