![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
凸优化
文章平均质量分 91
wowotou1998
这个作者很懒,什么都没留下…
展开
-
凸优化之有等式约束的优化问题的求解方法
有等式约束的优化问题的求解方法对数障碍 log barrier\text{log barrier}log barrier首先, 介绍一下 log barrier\text{log barrier}log barrier 方法:minf0(x)s.t.fi(x)≤0i=1⋯mAx=b⇔minf0(x)+∑i=1m−(1/t)log(−fi(x))s.t.Ax=b\begin{array}{lll}\min & f_{0}(x) &\\\原创 2021-06-05 19:49:22 · 1152 阅读 · 0 评论 -
凸优化之无约束优化问题的求解方法
无约束优化问题的求解方法minimizef(x)\text{minimize} \quad f(x)minimizef(x)其中 f:Rn→Rf: \mathbf{R}^{n} \rightarrow \mathbf{R}f:Rn→R 是二次可微凸函数(这意味着 domf\operatorname{dom} fdomf 是开集).我们假定该问题可解,即存在最优点 x⋆x^{\star}x⋆ . 更准确地说,x⋆x^{\star}x⋆ 不仅存在,并且唯一.我们用 p⋆p^{\star}p⋆ 表示最优值原创 2021-06-05 19:48:25 · 787 阅读 · 0 评论 -
凸优化之优化算法的一般步骤
优化算法的目的:寻找最优解算法的运行形式:通过迭代的形式, 从一个初始点开始一步一步的接近最优解. 比如 xk+1=xk−α∇f(xk)x^{k+1}=x^{k}-\alpha \nabla f\left(x^{k}\right)xk+1=xk−α∇f(xk), 表示点 xkx^{k}xk 沿着负梯度方向移动 α\alphaα 的距离(严格来说是 α∥∇f(xk)∥\alpha\left\|\nabla f\left(x^{k}\right)\right\|α∥∥∇f(xk)∥∥ 的距离)得到一个新的原创 2021-06-05 19:46:42 · 848 阅读 · 0 评论 -
凸优化之KKT条件
互补松弛性设原问题和对偶问题的最优值都可以达到且相等 (即强对偶性成立). 令 x⋆x^{\star}x⋆ 是原问题的最优解, (λ⋆,ν⋆)\left(\lambda^{\star}, \nu^{\star}\right)(λ⋆,ν⋆) 是对偶问题的最优解,这表明原问题所得到的最优值=对偶问题所得到的最优值f0(x⋆)=g(λ⋆,ν⋆)=infx(f0(x)+∑i=1mλi⋆fi(x)+∑i=1pνi⋆hi(x))⩽f0(x⋆)+∑i=1mλi⋆fi(x⋆)+∑i=1pνi⋆hi(x⋆)⩽f0(x⋆原创 2021-05-28 09:22:49 · 999 阅读 · 0 评论 -
凸优化之强弱对偶性与Slater准则
弱对偶性Lagrange\text{Lagrange}Lagrange 对偶问题的最优值, 我们用 d⋆d^{\star}d⋆ 表示, 根据定义, 这是通过 Lagrange\text{Lagrange}Lagrange 函数 得到的原问题最优值 p⋆p^{\star}p⋆ 的最好下界(即最大下界). 特别地, 我们有下面简单但是非常重要的不等式 d⋆⩽p⋆(primal dual)d^{\star} \leqslant p^{\star} (\text{primal dual})d⋆⩽p⋆(p原创 2021-05-28 09:21:38 · 1832 阅读 · 1 评论 -
凸优化之对偶理论的理解
对偶理论的理解对偶对偶理论6有约束问题的无约束形式预备知识预备结论(控制变量xxx,得到不等式右边最小值)正式推导(以凸函数性质中的不等式为基础,刻画迭代过程)合并以上推导得到最终结果参考资料对偶对偶理论6有约束问题的无约束形式预备知识凸函数性质∀x,y∈domf,f(y)=f(x)+∇f(x)T(y−x)二阶泰勒展开(假设x<y)f(y)=f(x)+∇f(x)T(y−x)+12(y−x)T∇2f(z)(y−x),z∈(x,y)凸函数的强凸性∀x∈domf,mI⪯∇2f(x)⪯MI(注意这原创 2021-04-30 17:09:35 · 272 阅读 · 0 评论 -
凸优化之梯度下降法收敛性证明(仅考虑步长精确搜索情况)
预备知识凸函数性质∀x,y∈domf,f(y)=f(x)+∇f(x)T(y−x)二阶泰勒展开(假设x<y)f(y)=f(x)+∇f(x)T(y−x)+12(y−x)T∇2f(z)(y−x),z∈(x,y)凸函数的强凸性∀x∈domf,mI⪯∇2f(x)⪯MI(注意这里的符号⪯,I是单位矩阵,除对角线元素为1之外,其他全为0)凸函数性质\\\forall x,y \in domf, \quad f(y) = f(x)+ \nabla f(x)^T(y-x) \\二阶泰勒展开(假设x < y原创 2021-04-18 17:06:41 · 644 阅读 · 0 评论