凸集、凸函数与凸规划

最新推荐文章于 2023-11-19 15:20:17 发布

十里清风

最新推荐文章于 2023-11-19 15:20:17 发布

阅读量6.6k

点赞数 8

分类专栏：最优化理论高等数学文章标签：最优化凸集凸函数凸规划

本文链接：https://blog.csdn.net/sinat_34072381/article/details/83685431

版权

最优化理论同时被 2 个专栏收录

5 篇文章 1 订阅

订阅专栏

高等数学

5 篇文章 0 订阅

订阅专栏

文章目录

1 凸集
2 凸函数
3 凸规划

1 凸集

设集合 $S\subset \R^n$ ，若 $S$ 中任意两点连线仍属于 $S$ ，则 $S$ 称为凸集，即
$\bm x_1 + \lambda(\bm x_2 - \bm x_1) \in S$

图1 凸集（左）与非凸集（右）

2 凸函数

设 $S$ 为 $R^n$ 上的非空凸集， $f$ 是定义在 $S$ 上的实函数，若对任意 $\bm x_1, \bm x_2 \in S$ ，及 $\lambda \in (0, 1)$ ，都有
$f(\bm x_1+\lambda(\bm x_2 - \bm x_1))\leq f(\bm x_1) + \lambda[f(\bm x_2) - f(\bm x_1)]$

则称 $f$ 为 $S$ 上的凸函数。
对于一元函数 $f$ ，凸函数的几何解释可简单理解为曲线 $f$ 上任意两点的弦不在曲线下方，如下图所示。

图2 凸函数

一元凸函数的几何证明

若 $x_1, f(x_1)), (x_2, f(x_2))$ 为曲线 $f$ 上的两点，且满足 $x_1< x < x_2$ ，由直线的两点式公式
$\frac{y-y_1}{y_2-y_1}=\frac{x-x_1}{x_2-x_1}$
知，该两点构成的弦所在直线的方程为
$\frac{y-f(x_1)}{f(x_2)-f(x_1)}=\frac{x-x_1}{x_2-x_1}$

由于弦上的点不小于对应曲线上的点，令 $0\lt\lambda\lt1$ ， $x=x_1+\lambda(x_2-x_1)$ ，得
$y\geq f(x) \implies \frac{f(x_1+\lambda(x_2-x_1))-f(x_1)}{f(x_2)-f(x_1)}\leq\frac{x_1+\lambda(x_2-x_1)-x_1}{x_2-x_1}$

因此 $f(x_1+\lambda(x_2-x_1)) \leq f(x_1)+\lambda(f(x_2)-f(x_1))$ ，不等式得证。

2.1 凸函数性质

凸函数的局部极小点是全局极小点。

证明： 若 $\bm x^*$ 是凸函数 $f(\bm x)$ 的局部极小点，假设 $\exists\hat \bm x \in S$ ，使得 $f(\bm x^*) > f(\hat \bm x)$ ，则对任意 $\lambda \in(0, 1)$ ，由凸集性质有
$\bm x^* + \lambda(\hat \bm x - \bm x^*) \in S$

因此
$f(\bm x^* + \lambda(\hat \bm x - \bm x^*))\leq f(\bm x^*) + \lambda[f(\hat\bm x) - f(\bm x^*)] <f(\bm x^*)$
上述不等式表明，对任意 $\lambda \in (0, 1)$ 都存在 $f(\bm x^* + \lambda(\hat \bm x - \bm x^*)) \lt f(\bm x^*)$ ，显然与 $f(\bm x^*)$ 是极小值矛盾。

2.2 一阶判别公式

设 $f$ 是定义在凸集 $S$ 上的可微函数，则 $f$ 为凸函数的充要条件是，对任意 $\bm x_1, \bm x_2 \in S$ ，有
$f(\bm x_2)\geq f(\bm x_1)+\nabla f(\bm x_1)^T(\bm x_2 - \bm x_1)$

一阶判别公式证明

必要性
由 $f(x_1+\lambda(x_2-x_1)) \leq f(x_1)+\lambda(f(x_2)-f(x_1))$ ，得
$f(x_2)\geq f(x_1)+\frac{f(x_1+\lambda(x_2-x_1))-f(x_1)}{\lambda (x_2-x_1)}(x_2-x_1)$

显然当 $\lambda \to 0$ 时， $f(x_2)\geq f(x_1)+f'(x_1)(x_2-x_1)$ ，必要性得证。

充分性
由 $f(x)\geq f(y)+f'(y)(x-y)$ ，因此
$f(x_1) \geq f(y)+f'(y)(x_1-y),\quad f(x_2) \geq f(y)+f'(y)(x_2-y)$

因此令 $y=x_1+\lambda(x_2-x_1)$ ，上面左侧不等式两侧乘 $(1-\lambda)$ 、右侧不等式两侧乘 $\lambda$ ，合并两个不等式得
$(1-\lambda)f(x_1)+\lambda f(x_2) \geq f(y) + f'(y)[x_1+\lambda(x_2-x_1) - y]=f(y)$

显然 $f(x_1+\lambda(x_2-x_1)) \leq f(x_1)+\lambda(f(x_2)-f(x_1))$ ，充分性得证。

几何解释： $(x, f (x))$ 为曲线 $f$ 上一点， $y$ 为该点处的切线，则自变量 $x$ 增加 $\Delta x$ ，对曲线 $f$ 和切线 $y$ 带来的变化分别为 $\Delta f$ 和 $\Delta y$ ，则
$\Delta f \gt \Delta y$

图一元凸函数判别公式的几何意义

2.3 二阶判别公式

设 $f$ 是定义在凸集 $S$ 上的二阶可微函数，则 $f$ 为凸函数的充要条件是在任意 $\bm x \in S$ 处，Hesse矩阵半正定。

二阶判别公式证明

必要性
对任一点 $\bm x^* \in S$ ，存在 $\lambda \in [-\delta, \delta]$ ，有 $\bm x^* + \lambda \bm x \in S$ ，因此
$f(\bm x^* + \lambda \bm x) \geq f(\bm x^*) + \lambda \nabla f(\bm x^*)^T \bm x$

由 $f(\bm x)$ 在点 $\bm x^*$ 处二次可微，则
$f(\bm x^* + \lambda \bm x)=f(\bm x^*) + \lambda \nabla f(\bm x^*)^T \bm x+\frac{1}{2}\lambda^2\bm x^T\nabla^2f(\bm x^*)\bm x + o(||\lambda \bm x||^2)$

故 $\dfrac{1}{2}\lambda^2\bm x^T\nabla^2f(\bm x^*)\bm x + o(||\lambda \bm x||^2)\geq0$ ，因此
$\bm x^T\nabla^2f(\bm x^*)\bm x \geq 0$

即 $\nabla^2f(\bm x^*)$ 半正定，必要性得证。

充分性
设Hesse矩阵 $\nabla^2f(\bm x)$ 在每一点 $\bm x\in S$ 处半正定，对任意 $\bm x^*, \bm x\in$ 凸集 $S$ ，由中值定理得
$f(\bm x) = f(\bm x^*) + \nabla f(\bm x^*)^T(\bm x-\bm x^*)+\frac{1}{2}(\bm x-\bm x^*)^2\nabla^2f(\hat \bm x)(\bm x-\bm x^*)$

其中 $\hat \bm x=\bm x+\lambda(\bm x^*-\bm x)$ ，因此当 $\nabla^2f(\hat \bm x)$ 半正定时，必有
$(x-\overline x)^T\nabla^2f(\hat x)(x-\overline x)\geq 0$

故 $f(\bm x) \geq f(\bm x^*) + \nabla f(\bm x^*)^T(\bm x-\bm x^*)$ ，充分性得证。

3 凸规划

考虑非线性规划问题
$\begin{aligned} \min &\quad f(\bm{x}) \quad \bm{x}\in\R^n\\ \text{s.t.} &\quad g_i(\bm{x}) \leq 0,\quad i=1,\cdots,m\\ &\quad h_j(\bm{x}) = 0,\quad j=1,\cdots,l\\ \end{aligned}$