凸集、凸函数及其充分必要条件

凸集的定义：

设集合$D \subset {R^n}$，若对于任意点$x,y \in D$及实数$\alpha \in \left[ {0,1} \right]$，都有$\alpha x + \left( {1 - \alpha } \right)y \in D$
则称集合$D$为凸集。
由凸集的定义可以看出凸集的几何意义，对于非空集合$D$，连接$D$中任意两点$x,y$的线段仍属于该集合，则该集合$D$是凸集。
图1所示的图形是凸集，图2显示的图形是非凸集。

凸函数定义：

设函数$f\left( x \right)$定义在凸集$D \subset {R^n}$上，若对于任意的$x,y \in D$及任意实数$\alpha \in \left[ {0,1} \right]$，都有$f\left[ {\alpha x + \left( {1 - \alpha } \right)y} \right] \le \alpha f\left( x \right) + \left( {1 - \alpha } \right)f\left( y \right)$，则称$f\left( x \right)$为凸集$D$上的凸函数。

凸函数的充分必要条件：

（一阶条件）

设在凸集$D \subset {R^n}$上$f\left( x \right)$可微，则$f\left( x \right)$在$D$上为凸函数的充分必要条件是对任意的$x,y \in D$都有$f\left( y \right) \ge f\left( x \right) + \nabla f{\left( x \right)^T}\left( {y - x} \right)$
证明：
必要性。 设$f\left( x \right)$是$D$上的凸函数。任取$x,y \in D$及$\alpha \in \left[ {0,1} \right]$，有

$$f\left[ {\alpha y + \left( {1 - \alpha } \right)x} \right] \le \alpha f\left( y \right) + \left( {1 - \alpha } \right)f\left( x \right)$$

即

$$f\left[ {x + \alpha \left( {y - x} \right)} \right] \le f\left( x \right) + \alpha \left[ {f\left( y \right) - f\left( x \right)} \right]$$
由泰勒公式有 $$f\left[ {x + \alpha \left( {y - x} \right)} \right] = f\left( x \right) + \alpha \nabla f{\left( x \right)^T}\left( {y - x} \right) + o\left( {\left\| {\alpha \left( {y - x} \right)} \right\|} \right)$$

代入上式得

$$f\left( y \right) - f\left( x \right) \ge \nabla f{\left( x \right)^T}\left( {y - x} \right) + \frac{{o\left( {\left\| {\alpha \left( {y - x} \right)} \right\|} \right)}}{\alpha }$$

上式两端取极限，令$\alpha \to 0$有

f(y)≥f(x)+∇f