最优化理论与算法
超级无敌小小顺利
计算机视觉
展开
-
约束非线性优化:几何意义&对偶形式
借助老师的PPT对约束非线性优化问题的几何意义和对偶形式进行阐述。一、几何意义(1)等式约束考虑只有等式约束h(x)的非线性优化问题,形式为:可视化结果如下图所示,红色曲线为等式约束,环线为目标函数等值面。达到最优解x*时,必定可以在此处借助Lagrange乘子完成梯度合成。(2)不等式约束约束条件换成不等式,此处只考虑一般形式的>=0约束:L...原创 2019-12-29 15:05:11 · 933 阅读 · 1 评论 -
二次规划_3_——直接消去法&广义消去法
教材里面没有对直接消去法&广义消去法进行任何介绍,所有的内容都在老师的PPT里面,又起了个名字叫降维。公式太多了,老师又说的确要考,所以打算只把大致思路理清楚,真考到了列出处理思想就跑。一、直接消去法 考虑具有等式线性约束的二次规划:min 12xTHx+cTxs.t. Ax=bmin \ \ \ \frac{1...原创 2019-12-29 14:03:25 · 1670 阅读 · 4 评论 -
二次规划_2_——起作用集方法
这个算法很反人类,迭代过程相当复杂,最优化导师说:“明确地告诉你要考的。” 起作用集方法适用于消元法和Lagrange方法无法处理的不等式约束二次规化问题。其主要思想是:以已知点为可行点,只考虑将该点的起作用约束,最小化f(x)f(x)f(x),得到新的可行点后重复以上做法。一、起作用集法适用情形 适用于具有不等式约束的二次规划问题min f(x)=...原创 2019-12-29 09:55:50 · 4341 阅读 · 2 评论 -
二次规划_1_——Lagrange方法
二次规化是非线性规化中的一种特殊情形,其目标函数是二次实函数,约束是线性的。考试中会考到四种方法,分别为:Lagrange方法、起作用集方法、直接消去法和广义消去法。前两种在教材上有详细描述,后面两种出现在PPT上面。本节先介绍最简单的方法:Lagrange方法。一、Lagrange方法适用情形Lagrange方法适用于具有等式线性约束的二次规化问题:min ...原创 2019-12-28 20:43:32 · 3043 阅读 · 1 评论 -
约束优化方法_2_——Frank-Wolfe方法
Frank-Wolfe方法属于约束优化中可行方向法的一种。上一篇博文对同类型的Zoutendijk可行性方法进行了介绍,这一部分着重关注Frank-Wolfe方法。Frank-Wolfe方法的基本思想是:每次迭代中使用一阶泰勒展开式将目标函数线性化,通过解线性规划得到可行方向,进而沿此方向在可行域内作一维搜索。一、Frank-Wolfe所针对的优化问题首先要明确这个算法的提出是针对哪一种问题。...原创 2019-12-28 19:40:21 · 5817 阅读 · 3 评论 -
约束优化方法_1_——Zoutendijk可行方向法
Zoutendijk可行性方法属于约束极值问题可行方向法中的一种。与之前无约束极值问题中的最速下降法、牛顿法相像,可行方向法的策略是:从可行点出发,沿着下降的可行方向进行搜索,求出使目标函数值下降的可行点。 教材中共介绍了四种方法:Zoutendijk可行性方法、Rosen梯度投影方法、既约梯度法、Frank-Wolfe方法。博文对Zoutendijk可行性方法和Frank-Wolfe方法进行了介...原创 2019-12-27 22:44:29 · 14559 阅读 · 7 评论