为什么计算函数极值用梯度下降算法而不直接令导数为0求解

并不是所有的函数都可以根据导数求出取得0值的点的, 现实的情况可能是:
1. 可以求出导数在每个点的值, 但是直接解方程解不出来, 

2、计算机更加适合用循环迭代的方法来求极值。

  • 3
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
好的,针对您的第一个问题,我可以进行解答。但需要先了解一些背景知识。梯度下降算法和牛顿算法都是用于优化函数算法梯度下降算法指的是在每一步迭代,以当前参数的梯度方向为搜索方向,进行参数的更新。具体地,先选定一个初始值,每次迭代通过计算当前的梯度(即函数导数),并按照一定步长更新当前,直到满足某个终止条件为止。 而牛顿算法则是以牛顿迭代法为基础的一种优化算法。它利用函数的二阶导数(即 Hessian 矩阵),用二阶展开式近似函数,在每一步迭代求解近似函数极值,然后进行参数的更新。具体地,先选定一个初始值,每次迭代通过计算当前的 Hessian 矩阵和梯度,求解方程得到近似极值,然后按照一定步长更新当前,直到满足某个终止条件为止。 对于函数 f(x)=x^2,可以进行梯度下降法和牛顿法的求解梯度下降,每次更新的公式为: x_new = x_old - learning_rate * gradient 其,x_old 表示上一次迭代得到的参数值,x_new 表示当前迭代得到的参数值,learning_rate 表示学习率(即步长),gradient 表示当前参数的梯度,对于 f(x) 而言,其梯度为 2*x。 而牛顿法,每次更新的公式为: x_new = x_old - (Hessian)^(-1) * gradient 其,x_old 表示上一次迭代得到的参数值,x_new 表示当前迭代得到的参数值,Hessian 表示函数 f(x) 的 Hessian 矩阵,gradient 表示当前参数的梯度,对于 f(x) 而言,其 Hessian 矩阵为 2。 需要注意的是,对于 f(x)=x^2,二阶导数恒为正,因此在牛顿法可以直接取 Hessian 矩阵的逆代替除法运算。 以上是针对您提出的问题的回答,请问还有其他的问题需要我解答吗?

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值