线性回归-梯度下降算法的(for j =0 and j=1)含义

在线性回归中,我们使用平方误差损失函数,其形式为:

其中 hθ​(x)=θ0​+θ1​x 是假设函数,表示模型的预测值。 

为了找到损失函数的最小值,我们可以使用梯度下降算法。

梯度下降算法——需要计算损失函数每个参数偏导数(梯度),然后沿着梯度的反方向更新参数。

在梯度下降算法的每一步中,我们都会根据这些偏导数的值来更新参数,直到找到损失函数的最小值或达到某个停止条件。

偏导数:表示函数对某一变量的变化率,,当其他变量保持不变时

在线性回归中,我们需要计算损失函数 J  对参数 θj​ 的偏导数,其中 j 可以是 0 或 1。

1. j=0时

这里,因为 hθ​(x)=θ0​+θ1​x,且对 θ0​ 求导时θ1​ 和 x 都视为常数,求导为0消失,所以 hθ​(x) 对 θ0​ 的导数是 1,x 的项消失了。

即:j=0时,hθ​(x) 对 θ0​ 的导数是 1

 2. j=1时

 这里,因为 hθ​(x)=θ0​+θ1​x,且对 θ1​ 求导时θ0​ 视为常数,而 x 是与 θ1​ 相乘的变量,所以 hθ​(x) 对 θ1​ 的导数是 x

即,j=1时, hθ​(x) 对 θ1​ 的导数是 x

tip:在线性回归的损失函数中,y(i) 是第 i 个训练样本的真实目标值,它是一个常数,而不是变量。所以求导后为0,消失

  • 8
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值