凸函数定义与判定条件 凸优化方法总论

凸集与凸函数

首先是凸集的定义。一个集合$S\in {\mathbb{R}}^n$称为凸集（${\mathbb{R}}^n$表示$n$维实向量空间），如果对于任意两个点$a,b\in S$，连接它们的线段也在集合$S$内，如下图：

任意多个凸集的交集仍为凸集。

函数$f:{\mathbb{R}}^n\to \mathbb{R}$（由$n$维实向量到实数的映射函数）为凸函数，当且仅当其定义域$S$是凸集，且对于所有$x,y\in S$和每一个标量$a\in (0,1)$，满足Jensen不等式：
$$f(ax+(1-a)y)\le af(x)+(1-a)f(x)$$
$f(x)$为严格凸函数，当且仅当$x,y,a$满足：
$$f(ax+(1-a)y)<af(x)+(1-a)f(x)$$

凸函数识别的充要条件

一阶充要条件

$f(x)$为凸函数，当$x,y,f(x),f^{\prime }(x)$满足：
$$(f^{\prime }(x)-f^{\prime }(y))(x-y)\ge 0,\forall x,y\in S$$
$f(x)$为严格凸函数，当$x,y,f(x),f^{\prime }(x)$满足：
$$(f^{\prime }(x)-f^{\prime }(y))(x-y)>0,\forall x,y\in S,且x\ne y$$
$f(x)$为凸函数，当$x,y,f(x),f^{\prime }(x)$满足：
$$f(y)\ge f(x)+f^{\prime }(x)(y-x)$$

二阶充要条件

$f(x)$为严格凸函数，当且仅当其Hessian矩阵正定：
$$H_{x}f(x)=\frac{{\partial }^{2}f(x)}{\partial x\partial x^T}\succ 0,\forall x\in S$$

如果Hessian矩阵是半正定，则为一般的凸函数，不是严格凸函数。
凸函数的非负倍数求和、积分、仿射变换都是凸函数。
向量除了$L_0$范数外的所有范数都是凸函数。
无约束凸函数的任意局部极小点$x\ast$都是该函数的一个全局极小点。

凸优化方法总论

对于无约束的平滑（可求导的）凸函数，可用方法包括梯度法，投影梯度法，共轭梯度法，Nesterov最优梯度法；
对于无约束的非平滑凸函数，可用方法分为次梯度类型和平滑函数逼近类型，前者包括迫近函数，共轭函数，原始-对偶次梯度算法，投影次梯度算法；后者包括非平滑函数的平滑逼近，迫近梯度法；
对于有约束的一阶可导凸函数，可用方法包括Lagrangian乘子法与对偶上升法，罚函数法，增广Lagrangian乘子法，交替方向乘子法（ADMM）；
其他方法还包括无约束优化的Newton法，适用于无约束的二阶可导凸函数；等式约束优化的Newton法，适用于等式约束的二阶可导凸函数。