这篇笔记详述了无约束和有约束优化问题，包括梯度下降、最速下降、坐标下降、子梯度下降等算法。在有约束优化部分，讲解了KKT条件，并分别讨论了线性和非线性方程组的情况。
全部笔记的汇总贴（视频也有传送门）：中科大-凸优化
一、无约束优化问题及算法
min f ( x ) g r a d i e n t d e s c e n t d k = − ∇ f ( x k ) s t e e p e s t d e s c e n t d k = arg min ∣ ∣ v ∣ ∣ = 1 { ∇ f T ( x k ) v } c o o r d i n a t e d e s c e n t s u b g r a d i e n t d e s c e n t d k = − ∂ f ( x k ) ∂ x N e w t o n ′ s M e t h o d d k = arg min v { ∇ f T ( x ) v + 1 2 v T ∇ 2 f ( x ) v } = − ( ∇ 2 f ( x k ) ) − 1 ∇ f ( x k ) Q u a s i − N e w t e n M e t h o d d k = − B − 1 ∇ f ( x k ) \min f(x)\\gradient\;descent\;d^k=-\nabla f(x^k)\\steepest\;descent\;d^k=\argmin_{||v||=1}\{\nabla f^T(x^k)v\}\\coordinate\;descent\\subgradient\;descent\;d^k=-\frac{\partial f(x^k)}{\partial x}\\Newton's\;Method\;d^k=\argmin_v\{\nabla f^T(x)v+\frac12v^T\nabla^2f(x)v\}=-(\nabla^2f(x^k))^{-1}\nabla f(x^k)\\Quasi-Newten\;Method\;d^k=-B^{-1}\nabla f(x^k) minf(x)gradientdescentdk=−∇f(xk
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
