凸优化（三）凸集变换与凸函数

1. 概述

\(\quad\)之前介绍了凸集相关的定义与部分性质，其实不是特别完全，因为单单的几篇博客是无法把凸集这一块完全讲全的，所以凸集变换这里也只讲几个稍微重要的变换。来捋一下学习的脉络吧，凸问题由求解变量、约束与目标函数组成，其中变量的可行域必须是凸集。所以下面要介绍的就是涉及到约束和目标函数的凸函数了。至于求解这个以后会说相关的经典算法的。

2. 集合变换：

（1）仿射变换：定义为对于凸集\(X\)，进行线性变换\(\{AX+b，X\in R^n,A\in R_{m\times n}，b\in R^m\}，得到的集合仍旧是凸集\)，可以看出集合X在维数变换后仍旧是凸集，通俗地来讲，对一个集合进行拉伸和位移不会改变凸性，比如说在上节已经提到的球进行拉伸成椭球，依旧是凸集。

（2）透视变换，假设有集合\(\{[Z,T],T\nleq0,Z\in R^n,T\in R\}\),则经过如下变换：\(\{[Z/T],T\nleq0,Z\in R^n,T\in R\}\)得到的集合仍为凸集。实际上是一种降维操作了，通俗地解释也可以做到,看一下这张图:

假设在二维平面上过一点\((x_1,x_2)\)做一条过原点的直线，显然直线方程为\(x_2x-x_1y=0\)，然后做一条\(y=-1\)的直线，它们会交于点\(K(-\frac{x_1}{x_2},-1)\)处。那么透视变换的含义是啥呢？就是将\((x_1,x_2)\)经过原点映射到\(K(-\frac{x_1}{x_2},-1)\)点。实现了一次降维，这样得到的集合仍旧为凸集。

（3）线性分数函数：对于集合X为凸集，在经过以下变换之后，其结果仍为凸集：\[f(x)=\frac{AX+b}{c^TX+d},dom f=\{X|c^TX+d\nleq0\}\]说明一下，这里是非常常用的变换技巧，因为显然这个变换是个非线性变换，但是得到的集合却仍旧是凸集。用到了两个变换性质，第一就是仿射变换，仿射变换是对凸集进行线性变换后仍旧是凸集，即\(\{AX+b，X\in R^n,A\in R_{m\times n}，b\in R^m\}\)。然后又进行了透视变换，即将一个\(R^{n+1}=[Z,T],T\nleq 0\)的凸集，它有一维数据大于0，然后对其Z的数据除以T，进行降维处理得到的仍旧是凸集。

举个例子：在本科的概率与统计课程中有这样的例子，两个随机变量\(u,v\)的联合概率\(\rightarrow\)条件概率的映射

联合概率：\(P_{ij}=P(u=i,v=j)\)，条件概率：\(f_{ij}=P(u=i|v=j)=\frac{P_{ij}}{\sum^n_{k=1}P_{kj}}\)，其实这个条件映射是一个线性分数映射，大家可以想想看哪个集合充当了X的集合，又是怎样的变换。这里给出解释：就是将\([P_{1j},P_{2j},...,P_{nj}]^T\)向量作为X，分母作为向量的求和,分子则是与这样的向量作了内积：\([0,...,1,...,0]\)，只有\(i\)处为1的向量。

3. 凸函数

3.1 定义

如果X为在实数向量空间的凸集。并且有映射\(f:X\rightarrow R\)，如果\(f\)被称为凸，则有\[\forall x_1,x_2\in X,\forall t\in[0,1]: f(tx_1+(1-t)x_2)\leq tf(x_1)+(1-t)f(x_2).\]如果F被称为严格凸，那么有：\[\forall x_1\ne x_2\in X,\forall t\in(0,1): f(tx_1+(1-t)x_2)\ngeq tf(x_1)+(1-t)f(x_2).\]

3.2 保持凸性的操作

和之前介绍的集合变换有相通的地方，但是是对函数映射的操作。

3.2.1取负操作：

当\(f\)为凸函数的时候，\(-f\)为凹函数。

3.2.2非负加权和：

即存在参数向量\(w=[w_1,w_2,...,w_n]\geq0,f_1,f_2...f_n\)为凸的，那么\(w_1f_1+...w_nf_n\)也为凸函数，特殊的情况就是，有限个凸函数的和为凸函数。（也可以拓展到无限和，积分和期望值（存在的话））

3.2.3元素最大值：

有\(\{f_i\}_{i\in I}\)是凸函数的集合。得到新函数\(g(x)=sup_{i\in I}f_i(x)\)仍旧为凸函数，这个性质挺重要的，有以下两个特殊情况：

（1）若\(f_1,f_2...f_n\)为凸函数，则\(g(x)=max\{f_1(x),f_2(x)...f_n(x)\}\)r仍为凸函数。

（2）若\(f(x,y)\)在以x为自变量时为凸函数，那么\(g(x)=sup_{y\in C}f_i(x)\)也以x为自变量为凸函数，即使C不是凸集。

3.2.4组合函数：

（1）若\(f和g\)是凸函数并且\(g\)在单变量域上不见效，那么\(h(x)=g(f(x))\)也是凸函数。比如当\(g(x)=e^x\)时，\(f\)为凸函数，那么\(e^{f(x)}\)也是凸函数，因为\(e^x\)单调且为凸函数。

（2）经过仿射变换下（具体见2集合变换）的凸函数仍为凸函数。

3.2.5最小化：

若\(f(x,y)\)在\(x,y\)组成的定义域内为凸函数，那么\(g(x)=inf_{y\in C}f(x,y)\)在单变量x上为凸函数，但是要满足C是凸集，且\(g(x)\neq\infty\)

转载于:https://www.cnblogs.com/saysei/p/10133582.html