![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数值计算
萤火虫之暮
这个作者很懒,什么都没留下…
展开
-
Jacobian 和 Hessian 矩阵
最大特征值确定最大二阶导数,最小特征值确定最小二阶导数。原创 2018-02-26 18:52:59 · 269 阅读 · 0 评论 -
牛顿法(Newton’s method)
牛顿法基于一个二阶泰勒展开来近似 x (0) 附近的 f (x):当 f 是一个正定二次函数时,牛顿法只要应用一次式 (4.12) 就能直接跳到函数的最小点。如果 f 不是一个真正二次但能在局部近似为正定二次,牛顿法则需要多次迭代应用式 (4.12) 。迭代地更新近似函数和跳到近似函数的最小点可以比梯度下降更快地到达临界点。这在接近局部极小点时是一个特别有用的性质,但是在鞍点附近是有害的。如式 (...原创 2018-02-26 19:07:17 · 2855 阅读 · 0 评论 -
Lagrange函数,对偶问题,KKT条件
原始问题约束最优化问题的原始问题:约束最优化问题转化为无约束最优化问题:广义拉格朗日函数(generalized Lagrange function):是是拉格朗日乘子特别要求:原始问题的描述等价为:这个地方如下理解:原始问题最优化:最优值:对偶问题对偶问题:对偶问题一定是凹的。对偶问题最优化(极大值):原始问题最优化(极小值):对偶问题的最优值:...原创 2018-10-31 10:24:47 · 2236 阅读 · 0 评论