- 博客(30)
- 收藏
- 关注
RSS订阅原创 凸优化学习-（二十九）有约束优化算法——增广拉格朗日法、交替方向乘子法（ADMM）
凸优化学习我们前面说过，拉格朗日法在实际中应用不大。为什么呢？因为α\alphaα的取值很难取，这就导致拉格朗日法鲁棒性很低，收敛很慢，解很不稳定。于是就有了今天的增广拉格朗日法和ADMM。学习笔记一、增广拉格朗日法（Augmented Lagrange Method）1、定义一句话总结：在拉格朗日法的基础上，将拉格朗日函数替换为增广拉格朗日函数。有问题形如：minf(x)s.t....
2020-04-07 13:03:06
14963
4
原创 凸优化学习-（二十八）有约束优化算法——拉格朗日法
凸优化学习拉格朗日法用得不多，但需要深入理解，方便学习另一种使用很广的算法。学习笔记一、拉格朗日法（lagrangian method\text{lagrangian method}lagrangian method）前面我们讲到，所有的方法都是在解一个非线性的KKT\text{KKT}KKT条件，一般问题形如：minf(x)s.t.Ax−b=0i=1⋯p\beg...
2020-04-06 19:27:13
2438
原创 凸优化学习-（二十七）有约束优化算法——牛顿法、log barrier
凸优化学习学习笔记一、有约束凸问题分析首先，介绍一下log barrier\text{log barrier}log barrier方法：minf0(x)s.t.fi(x)≤0i=1⋯mhi(x)=0i=1⋯p⇔minf0(x)−∑i=1muilog(−fi(x)) i=1⋯ms.t.hi(x)=0i=1⋯p\begin{ali...
2020-04-05 18:35:05
5788
原创 凸优化学习-（二十六）无约束优化算法——牛顿法、拟牛顿法及无约束算法总结
凸优化学习学习笔记一、牛顿法（Newton’s method\text{Newton's method}Newton’s method）1.推导在最速下降法中，我们的方向：dk=argminv{f(xk+v)∣∥v∥=1}d^k=\arg\min_v\lbrace f(x^k+v)\big|\|v\|=1\rbracedk=argvmin{f(xk+v)∣∣...
2020-04-05 17:17:55
1329
原创 凸优化学习-（二十五）无约束优化算法——最速下降法
凸优化学习最速下降法实为最陡下降法，收敛性质类似于梯度下降法。学习笔记一、最速下降法定义一个和xkx^kxk同维度的向量vvv，那么有：minxf(x)⇔Repeatminvf(xk+v)\min_xf(x)\Leftrightarrow\text{Repeat}\min_vf(x^k+v)xminf(x)⇔Repeatvminf(xk+v)就是一个全局分解为每一步，我们都...
2020-04-04 20:35:11
1018
原创 凸优化学习-（二十四）无约束优化算法——梯度下降法
凸优化学习梯度下降法是最经典、最简单的算法，要求目标函数一阶可微无约束，有m,M\textbf{m,M}m,M控制凸性。学习笔记一、梯度下降法形如：dk=−∇f(xk)Repeatdk=argminf(xk+αdk)αmax≥α≥0xk+1=xk+αkdkUntil Convergence\begin{aligned}&&d^k&=-\nabl...
2020-04-02 16:35:02
1550
1
原创 凸优化学习-（二十三）算法基础知识
凸优化学习所有的算法实质上都是在解KKT条件，这部分内容是学习算法之前需要掌握的一些东西。学习笔记一、算法基础知识所有的算法都是迭代算法，形如：xk+1=xk+αkdkαk=argminα≥0f0(xk+αdk)\begin{aligned}x^{k+1}&=x^k+\alpha^kd^k\\\alpha^k&=\arg\min_{\alpha\ge0}f_0(...
2020-04-01 17:21:24
991
原创 凸优化学习-（二十二）凸优化问题敏感性分析
凸优化学习这一部分开始为算法打基础了，敏感性分析是指我们去分析当优化问题中的哪些变量改变后会引起优化速度的极大改变。学习笔记对于一个凸优化问题：minf0(x)(P)s.t.fi(x)≤0i=1⋯mhi(x)=0i=1⋯p\begin{aligned} \min&& f_0(x)&\\\text {(P)}\qquad\text{s.t.}&&...
2020-03-29 17:43:25
1142
2
原创 凸优化学习-（二十一）KKT条件
凸优化学习KKT条件是核心，我会在这一节里面讲清楚KKT的推导以及它的性质。学习笔记一、KKT条件的推导对于一个普通优化问题：minf0(x)(P)s.t.fi(x)≤0i=1⋯mhi(x)=0i=1⋯p\begin{aligned} \min&& f_0(x)&\\ (\text P)\qquad\text{s.t.}&&f_i(x)&a...
2020-03-26 19:17:17
3074
原创 凸优化学习-（二十）从四个角度理解原问题最优解和对偶问题最优解的关系
凸优化学习本节探究p∗=d∗p^*=d^*p∗=d∗时的不同角度理解。学习笔记一、几何理解对于一个普通优化问题：minf0(x)s.t.f1(x)≤0\begin{aligned} \min&& f_0(x)&\\ \qquad\text{s.t.}&&f_1(x)&\le0\\\end{aligned}\\mins.t.f...
2020-03-25 16:02:14
7573
原创 凸优化学习-（十九）深入分析对偶问题
凸优化学习学习笔记一、原问题最优值p∗\text p^*p∗与与对偶问题最优值d∗\text d^*d∗分析1、背景知识对于一个普通优化问题：minf0(x)(P)s.t.fi(x)≤0i=1⋯mhi(x)=0i=1⋯p\begin{aligned} \min&& f_0(x)&\\ (\text P)\qquad\text{s.t.}&&...
2020-03-23 16:06:00
747
原创 凸优化学习-（十八）对偶性Duality 拉格朗日函数与对偶函数
凸优化学习对偶性是凸优化学习的核心，重中之重。学习笔记一、拉格朗日函数与对偶函数对于一个普通优化问题：minf0(x)s.t.fi(x)≤0i=1⋯mhi(x)=0i=1⋯p\begin{aligned} \min&& f_0(x)&\\ \text{s.t.}&&f_i(x)&\le0\qquad i=1\cdots m\\ ...
2020-03-21 16:55:11
2394
1
原创 凸优化学习-（十七）多目标优化问题
凸优化学习凸优化问题和之后的拉格朗日乘子有异曲同工之妙，需要深入理解里面的概念。学习笔记一、定义形如：minf0(x)s.t.fi(x)≤0hi(x)=0其中,f0:Rn→Rq,fi:Rn→R,hi:Rn→R\begin{aligned} \min&& f_0(x)&\\ \text{s.t.}&&f_i(x)&\le0\\ ...
2020-03-20 17:02:23
3243
2
原创 凸优化学习-（十六）几种典型的凸优化问题
凸优化学习几种典型的凸优化问题。学习笔记一、线性规划形如：minCTx+ds.t.Gx−h≤0Ax−b=0\begin{aligned} \min&& \textbf C^Tx+d&\\ \text{s.t.}&&\textbf G x-h&\le0\\ &&\textbf A x-b&=0\\\...
2020-03-19 16:01:50
4155
原创 凸优化学习-（十五）凸优化问题分析和举例
凸优化学习今天开始对优化问题进行分析，会先判断一般的优化问题，然后逐渐引入凸优化问题。学习笔记一、优化问题的几个例子以及变换例1：minf0(x)=x12+x22s.t.fi(x)=x11+x22≤0hi(x)=(x1+x2)2=0\begin{aligned} \min&& f_0(x)&=x_1^2+x_2^2\\ \text{s.t.}&&a...
2020-03-17 16:37:41
2998
1
原创 凸优化学习-（十四）凸问题的相关概念和定义
凸优化学习今天开始学习凸问题。学习笔记一、凸问题相关概念1、什么是凸问题Convex Problems\text{Convex Problems}Convex Problems凸问题，即可以使用凸优化技术进行处理的一类具有良好性质的优化问题，形如：minf0(x)s.t.fi(x)≤0,i=1⋯mhi(x)=0,i=1⋯p\begin{aligned} \mi...
2020-03-16 20:38:01
3686
1
原创 凸优化学习-（十三）拟凸函数与拟凸问题
凸优化学习今天学习拟凸函数与拟凸问题。学习笔记一、α-sublevel-set\alpha\text{-sublevel-set}α-sublevel-set定义：若f:Rn→R，其α-sublevel-set为Sα={x∈domf∣f(x)≤α}若f:R^n\rightarrow R，其\alpha\text{-sublevel-set}为S_\alpha=\lbrace x\in\...
2020-03-15 16:47:14
4214
原创 凸优化学习-（十二）保持函数凸性的操作
凸优化学习继续学习保持函数凸性的操作。学习笔记一、函数的透视透视函数形如：p(z,t)=ztp:Rn+1→Rndomp∈Rn×R++p(z,t)=\frac{z}{t}\\p:R^{n+1}\rightarrow R^n\qquad \text{dom}p\in R^n×R_{++}p(z,t)=tzp:Rn+1→Rndomp∈Rn×R++函数透视形如：g(x,t)=t...
2020-03-14 15:54:43
1628
2
原创 凸优化学习-（十一）保持函数凸性的操作
凸优化学习今天学习保持函数凸性的操作。学习笔记一、非负加权和。形如：若f1⋯fm，则f∑i=1mwifi为凸wi≥0,∀i若f_1\cdots f_m，则f\sum^{m}_{i=1}w_if_i为凸\qquad w_i\ge0,\forall i若f1⋯fm，则fi=1∑mwifi为凸wi≥0,∀i或：若f(x,y)对任意y∈A,f(x,y)均为凸，且∀y∈Aw(y...
2020-03-13 21:43:10
1400
原创 凸优化学习-（十）凸函数的例子
凸优化学习今天是凸函数的举例和讨论学习笔记一、指数函数形如：f(x)=eaxf(x)=e^{ax}f(x)=eax是凸函数。二、幂函数形如：f(x)=xa x∈R++f(x)=x^a \ \ \ \ x\in R_{++}f(x)=xa x∈R++其二阶偏导为：∇2f(x)=...
2020-03-12 21:26:42
5715
5
原创 凸优化学习-（九）凸函数
凸优化学习今天开始学习凸函数了。学习笔记一、凸函数的定义1f:Rn→R为凸⇔domf为凸 ∀x,y∈domf 0≤θ≤1有f(θx+(1−θ)y≤θf(x)+(1−θ)f(y)f:R^n\rightarrow R为凸\Leftrightarrow \text{dom}f 为凸\ \ \forall x,y \in \text{dom}f\ \...
2020-03-11 22:43:07
2368
原创 凸优化学习-（八）保持集合凸性的操作
凸优化学习今天依然是保持函数凸性的操作。学习笔记一、透视函数 Perspective function凸集经过透视函数变换仍然是凸集。形如：p(z,t)=zt domf=Rn×R++ z∈Rn t∈R++p(z,t)=\frac{z}{t}\ \ \ \ \text{dom}f=R^n×R_{++}...
2020-03-10 19:25:05
1546
原创 凸优化学习-（七）保持集合凸性的操作
凸优化学习今天学习保持集合凸性的操作。学习笔记一、交集若S1,S2S_1,S_2S1,S2为凸，则S1∩S2S_1\cap S_2S1∩S2为凸。多个凸集的交同理。多个集合的并集不一定是凸集。两点连接的线段并不在新集合里面。二、仿射函数变换仿射函数：f:Rn→Rmf:R^n \rightarrow R^mf:Rn→Rm是仿射的当f(x)=Ax+b &nbs...
2020-03-10 15:49:02
1311
1
原创 凸优化学习-（六）常见集合
凸优化学习依然是一些集合。学习笔记一、多面体 polyhedron形如：P={∣ajT≤bj,j=1,⋯ ,mcjTx=dj,j=1,⋯ ,q}P=\lbrace \mid{\begin{matrix}a_j ^T\le b_j,j=1,\cdots,m\\c_j^Tx=d_j,j=1,\cdots,q\end{matrix}}\rbraceP={∣ajT≤bj,j=1...
2020-03-09 20:55:18
1139
原创 凸优化学习-（五）常见集合
凸优化学习今天主要是一些常见的集合。学习笔记一、RnR^nRn空间是仿射集、凸集、凸锥。RnR^nRn空间的子空间是仿射集、凸集、凸锥。子空间的定义设W为数域F上的n维线性空间V的子集合（即W∈V），若W中的元素满足（1）若任意的α，β∈W，则α+β∈W；（对加法是封闭的）（2）若任意的α∈W，λ∈F，则λα∈W。（对数乘也是封闭的）（3）子空间中必须包含“0向量”二、任意...
2020-03-09 14:48:14
857
原创 凸优化学习-（四）仿射包、凸集、凸组合、凸包、凸锥、凸锥组合、凸包
凸优化学习学习笔记今天学习仿射包、凸集、凸组合、凸包、凸锥、凸锥组合、凸锥包的概念一、仿射包文字：对于任意集合CCC，包含CCC的最小的仿射集称为CCC的仿射包。数学：aff c={θ1x1+⋯+θkxk∣∀x1,⋯ ,xk∈C θ1+⋯+θk=1}aff\ \ c=\lbrace \theta_1 x_1+ \cdots +\theta...
2020-03-07 22:11:00
7994
3
原创 凸优化学习-（三）仿射集
凸优化学习今天主要是几个概念的讲解，凸集，仿射集学习笔记一、仿射集（Affine Sets）这是最简单的凸集，是凸集的一个特例。定义一文字：一个集合CCC是仿射集，若∀x1,x2∈C\forall x_1,x_2\in C∀x1,x2∈C，则连接x1,x2x_1,x_2x1,x2的直线也在集合CCC内。数学：∀x1,x2∈C,ζ1:y=θx1+(1−θ)x2⊂Cx1≠...
2020-03-07 21:06:07
1663
原创 凸优化学习-（二）优化问题的分类
凸优化学习学习笔记一、优化问题分类1、线性规划/非线性规划（linear/nonlinear program）线性规划文字：所有的函数（目标函数，约束函数）都是线性函数数学：所有函数都形如fi(αx+βy)=αfi(x)+βfi(y) ∀i=0,1,⋯ ,nf_i(\alpha x+\beta y)=\alpha f_i(x)+\beta f_i(y...
2020-03-07 18:51:55
1478
1
原创 凸优化学习- (一)凸优化定义
凸优化学习学习笔记一、凸优化定义1、文字从一个可行的解的集合中，寻找出最优的元素。三要素可行解集合、最优准则、寻找方法其中可行解集一定要是凸集，最优准则一般是指目标函数尽可能小，寻找方法一般是梯度下降。2、数学minimize f0(x)f_{0}(x)f0(x){\lbrace{ object to fi(x)≤bi, i=1...
2020-03-07 18:39:09
1515
1
原创 凸优化学习-序
凸优化是老师给我指点的一个学习方向，为保证学习质量，我会在每天的学习中记录笔记，并且在之后将其整理成电子版助于理解，在电子版中，我会加入“个人思考”一项，强制思考以督促我对纸质笔记的复习理解。另外，由于不想在画图方面消耗太多时间，电子版的笔记中的函数图像也将是手写版扫描而得。本次学习的“参数”如下：视频教程：凸优化-凌青（现中山大学）中国科学技术大学研究生院制作原链接bilibili搬...
2020-03-07 16:11:51
1282
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人