详解机器学习基础--梯度下降法

梯度下降法不是一种机器学习算法,而是一种基于搜索的最优化方法

作用:最优化一个损失函数

公式:

theta = theta - eta*dJ

eta 作为学习率,也就是每次梯度下降幅度

eta的取值不合适,影响得到最优解,eta太小,收敛学习速度,eta太大,导致不收敛

eta 也属于超参数的一种

例子:多元线性回归中的梯度下降法
 dJ = MSE‘ => x_b.T.dot(x_b.dot(theta) - y) * 2. / m

也就是我们的theta每次都基于dJ进行梯度下降
其中m指样本数量加一,x_b指在样本转置后第一列全增一后组成的新向量

随机梯度下降法
每次进行随机方向的下降

梯度调试:
    dJ = (J(theta + alpha) - J(theta - alpha)) / 2*alpha
    对于多维来说,每次增加是指theta在该维度的增加

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

quzah

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值