凸优化学习笔记

最新推荐文章于 2023-05-12 10:33:05 发布

不爱学习未完待续

最新推荐文章于 2023-05-12 10:33:05 发布

阅读量1k

点赞数 1

分类专栏：算法学习文章标签：凸优化算法

本文链接：https://blog.csdn.net/weixin_40196271/article/details/88050744

版权

算法学习专栏收录该内容

5 篇文章 0 订阅

订阅专栏

1.凸集：一个集合区域内任意两点的直线连接都在这个区域内，则这个集合为凸集。比如：扇形、缺失了某个边的矩形就不属于凸集。

2.超平面、半超平面

超平面： $a^{T}x=b$ ，半超平面： $a^{^{T}}x\leq b，a^{T}x\geq b$ 或者 $a^{T}x\geq b$ 。其中超平面在二维空间就是直线。超平面和半超平面可以组成一个多面体，构成凸集。

3.保凸运算：交、仿射变换、透视变换

交：比如超平面之间的交集是个凸集；

仿射变换： f(x) = a x +b ，其中a是个矩阵，仿射变换可以经过平移、旋转、缩放。如果x是个凸集，则f(x)一定是凸集；反之，如果f(x)是凸集，则x也一定是凸集。

透视变换： $R^{n+1}\rightarrow R^{n}$ ，也就是把最后一维除以本身变成1，然后再把1舍去。如果x是凸集，则f(x)是凸集；反之，则不一定成立。

投射函数：为仿射变换和透视变换的复合。 $f(x)=(ax+b)/(c^{T}x+d)$ ，其中 $c^{T}x+d> 0$ ，如果 $c^{T}=0$ ,d/0则是一般的仿射变换。

4.分割超平面、支撑超平面

如果两个凸集之间没有交集，则一定会有一个分割超平面将它们隔开，也就是对于这两个凸集会有 $a^{T}x\leq b$ 和 $a^{T}x\geq b$ 。但是反之若两个凸集存在分割超平面，则它们不相交是假命题。加上限制，至少有一个是开集，则命题成立。因为等式中取了等号，如果遇到某些临界的等号值，则可能就相交了。

支撑超平面：对于集合上某个点的值存在小于等于ax+b，则这个点有支撑超平面，对于凸集上每个点都存在支撑超平面；而反之，如果某个集合每个点都存在支撑超平面，则这个集合不一定是凸集，要加上一个限制，闭的非中空。

5.凸函数

某个函数满足它的割线总是在它的上方，则这个函数为凸函数。对于两点（x,f(x)）,(y,f(y))，则存在 $f(\theta x+(1-\theta )y)\leq \theta f(x)+(1-\theta )f(y)$

全局下估计：对于凸集上的某点存在 $f(y)\geq f(x)+f{}'(x)(y-x)$ ，这个跟支撑超平面的理解是一样的，凸函数上的点的值大于或等于该点切线上的值。本质上，凸函数的一阶泰勒近似是它的全局下估计。反之，如果一个函数的一阶泰勒近似总是它的全局下估计，则这个函数是凸函数，这可以从局部到全局。

6.Jensen不等式

根据凸函数的概念： $f(\theta _{1}x_{1}+....+\theta _{k}x_{k})\leq \theta _{1}f(x_{1})+\theta _{k}f(x_{k})$ ，再微积分一下对于在S凸集域中，满足thea之和为1。进而f(E(X))<=E(f(x))，可以用来解决很多问题。

7.凸函数的一些性质

g(x)=w1*f1(x)+w2*f2(x)+...+wn*fn(x)，如果f(x)都为凸函数，且w非负，则g(x)也为凸函数；

如果f(x)为凸函数，则它的仿射f(ax+b)也为凸函数；

如果各fi(x)为凸函数，则f(x)=max(f1(x),f2(x),...,fn(x))也为凸函数，如果f1(x),f2(x),...,fn(x)为连续状态的话，就是对f(x)=sup(g(x))的g(x)求上确界，也是一个凸函数。一系列函数的逐点求上确界其实是函数的交集（其中上确界是凸的，下确界是凹的）。

8.凸优化和对偶函数

对于凸优化问题，我们化为求f0(x)的最小值，其中限制条件为fi(x)<=0,gi(x)=0,且fi(x)为凸函数，g(x)为仿射函数，则利用拉格朗日 $L = f0(x) + \lambda i fi(x) + \nu igi(x)$ ，对 $\lambda$ 而言，L为它的仿射函数，对 $\nu$ 而言，L也为它的仿射函数。

对偶函数转化为： $g(\lambda ,\nu )=infL(x,\lambda ,\nu ) = inf(f0(x)+\sum\lambda f(x)+\sum \nu h(x) )$ ，逐点求下确界，则这个函数为一个凹函数，g<=p*,取等号时，则可以取到最大值。对偶函数往往取不到等号。

9.鞍点

先得到一个凹函数，再逐点求上确界。

$f(x,y) \leqslant max_{x}f(x,y)$ ,则, $min_{y}f(x,y)\leqslant min_{y}max_{x}f(x,y)$ ，则 $max_{x}min_{y}f(x,y)\leqslant min_{y}max_{x}f(x,y)$ 。对偶问题，本质是求对偶函数的最大值，因此这个最大值小于等于最优值，往往取不到等号。

10.强对偶条件(KKT条件)

fi(x)<=0,hi(x)=0, $\lambda \geqslant 0$ ， $\lambda f(x) =0$ , $\bigtriangledown f0(x)+\sum \lambda \bigtriangledown fi(x)+\sum \nu \bigtriangledown hi(x) =0$ 。其中最小二乘是满足强对偶条件的。

最小二乘法的 $f(x)=x^{T}x$ ， std:Ax=b ; $L = x^{T}x + \nu ^{T}(Ax-b)$ 其中最小二乘法是先求出对x偏导为0时x的值，带入x到L中，得到g(v),再对v求偏导，凹函数一定有为0的值，则得到v的值，再带到刚刚的x中，再得到x的值。

11.共轭函数

$f(y) = sup(y^{T}x-f(x))$ ,这一定是个凸函数。仿射函数的上确界

不爱学习未完待续

关注

1
点赞
踩
11

收藏

觉得还不错? 一键收藏
0
评论
凸优化学习笔记

1.凸集：一个集合区域内任意两点的直线连接都在这个区域内，则这个集合为凸集。比如：扇形、缺失了某个边的矩形就不属于凸集。2.超平面、半超平面超平面：，半超平面：或者。其中超平面在二维空间就是直线。超平面和半超平面可以组成一个多面体，构成凸集。3.保凸运算：交、仿射变换、透视变换交：比如超平面之间的交集是个凸集；仿射变换：，其中a是个矩阵，仿射变换可以经过平移、旋转、缩放。如果x...
复制链接

扫一扫