优化算法
文章平均质量分 86
dymodi
这个作者很懒,什么都没留下…
展开
-
内点法介绍(Interior Point Method)
在面对无约束的优化命题时,我们可以采用牛顿法等方法来求解。而面对有约束的命题时,我们往往需要更高级的算法。单纯形法(Simplex Method)可以用来求解带约束的线性规划命题(LP),与之类似的有效集法(Active Set Method)可以用来求解带约束的二次规划(QP),而内点法(Interior Point Method)则是另一种用于求解带约束的优化命题的方法。而且无论是面对LP还是Q原创 2015-06-10 14:51:39 · 108571 阅读 · 25 评论 -
最速下降法与牛顿法的收敛速率
在MIT的公开课[Introduction to Computer Science and Programming Using Python] 6.00.1x 中,Eric Grimson曾提到过迭代算法的思想就在于将当前迭代点向正确的方向移动一定的“步长”,然后检验目标值是否满足一定要求。同时,“方向”和“步长”也是不同优化算法主要关心的两个方面。除此之外,我们还关心不同优化算法的收敛速率(rat原创 2015-06-06 09:41:20 · 25800 阅读 · 3 评论 -
优化命题的对偶性(Duality)
本文用以介绍和分析带有约束的优化命题的对偶性(Duality),给出对偶命题的推导方面,并举例说明。主要参考的是Jorge Nocedal 和 Stephen J. Wright 的 Numerical Optimization 一书(第二版)。对偶命题的定义对偶命题的性质举例线性规划凸二次规划对偶命题的定义考察如下的只含不等式约束的一般性优化命题:minx∈Rnf(x)subject to原创 2015-06-08 13:14:04 · 7343 阅读 · 1 评论 -
QR decomposition and Givens Rotation (QR分解与Givens旋转)
在最近做的一个研究中,需要对 QR 分解进行更新,因此了解了一些关于 QR 分解和 Givens 旋转的内容。在这里进行总结。原创 2015-12-12 20:48:10 · 13731 阅读 · 1 评论 -
有效集法介绍(Active Set Method)
单纯性法(Simplex Method)是“线性规划之父”George Dantzig 最著名的成果,也是求解线性规划最有力的算法之一。而这一算法在求解二次规划(Quadratic Programming, QP)时的升级版就是有效集法(Active Set Method, ASM)。本文对用于求解 QP 命题的 Primal ASM 算法作以介绍。原创 2015-12-22 22:58:53 · 35043 阅读 · 20 评论