凸优化笔记总结
文章平均质量分 73
xiaofei473
控制算法工程师
展开
-
约束优化问题的KKT条件推导
KKT条件是约束优化问题最优解的一阶必要条件,证明角度有很多,比较容易看懂的是从约束条件梯度线性无关角度出发的证明,下面进行分析。约束优化问题的一般形式可写为minx∈Rnf(x)s.t.{ci(x)=0,i∈Eci(x)≤0,i∈I(1)\min_{x\in \mathbb{R} ^n} f\left( x \right) \\s.t. \left\{ \begin{aligned} c_i(x)&=0, i\in \mathcal{E}\\ c_i(x)&\le 0, i\in原创 2021-08-03 19:14:10 · 2747 阅读 · 0 评论 -
最优化学习笔记1——关于拟牛顿法推导
从2020年3月份到现在,一年的时间里断断续续自学最优化,结合豆瓣读书、知乎等网站上的推荐,翻阅了以下书和课程:Stephen Boyd和Lieven Vandenberghe的《Convex Optimization》,这本书被公认为学习凸优化的必读经典著作,其中大量的篇幅讲应用,讲理论和算法的篇幅稍少一些。在B网站上有Boyd的视频课程,油管上也有,不过只有英文字幕,如果是零基础接触,直接看Boyd的视频稍显费劲,B站上也有凌青老师以《Convex Optimization》为教材的讲解,推荐作为入原创 2021-04-15 22:53:15 · 1351 阅读 · 1 评论 -
凸优化学习笔记_chapter10_带等式约束凸优化问题1
chapter 10 Equality constrained minimization主要研究带等式约束的凸优化问题10.1 Equality constrained minimization problems描述形式如下minimizef(x)subject toAx=b(1)\begin{aligned}&\text{minimize}\quad f(x)\\...原创 2020-05-03 09:01:42 · 2606 阅读 · 0 评论 -
凸优化学习笔记_chapter9_牛顿法收敛性分析
一、牛顿法计算步骤首先给出牛顿法求解无约束优化问题的一般步骤:给定起始点x∈domfx\in\mathbf{dom}fx∈domf,阈值ϵ>0\epsilon>0ϵ>0。1.计算牛顿步(方向)和减少量Δxnt:=−∇2f(x)−1∇f(x);λ2:=∇f(x)T∇2f(x)−1∇f(x)(1)\Delta x_\mathrm{nt}:=-\nabla^2f(x)^{-...原创 2020-05-01 21:57:29 · 2811 阅读 · 4 评论 -
凸优化学习笔记5
《convex optimization》的第6到8章是凸优化的应用,可以根据具体需要再回头查阅,第9到11章则是讲算法,当然也是比较基础的算法,如果专门研究优化算法可以再查阅相关文献。9.1 Unconstrained minimization problems无约束优化算法的研究对象为minimizef(x)\text{minimize}f(x)minimizef(x)其中,f...原创 2020-04-24 20:58:52 · 501 阅读 · 0 评论 -
凸优化学习笔记4
Chapter 5 Duality 主要是讲优化问题的对偶,是整本书理论部分的核心。5.1 The Lagrange dual function对于一般优化问题(primal problem)minimizef0(x)subject to fi(x)≤0,i=1,…,mhi(x)=0,i=1,…,p\begin{aligned}\text{minimize}\quad...原创 2020-03-15 17:53:36 · 272 阅读 · 0 评论 -
凸优化学习笔记3
Chapter 4 Convex optimization problems《Convex Optimization》一书一直到第4章才算正式处理凸优化问题,第2章和第3章分别介绍了凸集和凸函数的一些知识,而凸优化问题的组成要素就是凸集和凸函数,重点是面对自己专业领域的一个优化问题,如何想办法将其转换为凸优化问题。4.1 Optimization problems优化问题的一般描述如下:m...原创 2020-03-11 14:52:14 · 301 阅读 · 0 评论 -
凸优化学习笔记2
Chapter 3 Convex functions 凸函数的相关内容3.1 Basic properties and examplesDefinition(定义1): domf\mathbf{dom}fdomf is a convex set, 0≤θ≤10\leq\theta\leq 10≤θ≤1, f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)f(\theta x+(1-\t...原创 2020-03-08 19:05:47 · 706 阅读 · 0 评论 -
凸优化学习笔记1
学习教材主要是Boyd的《Convex Optimization》Chapter 2 convex sets,主要是convex sets的一些数学定义,以及一些常见的convex sets。2.1 Affine and convex setslines: y=θx1+(1−θ)x2=x2+θ(x1−x2)y=\theta x_1+(1-\theta)x_2=x_2+\theta (x_...原创 2020-03-03 22:17:08 · 370 阅读 · 0 评论