《机器学习中的数学》——凸优化（1）

1.优化与凸优化简介

优化问题基本形式

优化问题的一般形式：
$$最小化：f_0(x)$$
$$条件：f_i(x)\le b_i,i=1,...,m.$$
其中$f_0(x)$为目标函数，条件里的不等式是限制条件。
举例：极大似然估计，最小二乘法。

凸优化问题的基本形式

凸优化问题的一般形式：
$$最小化：f_0(x)$$
$$条件：f_i(x)\le b_i,i=1,...,m.$$
其中$f_0(x)$为目标函数，条件里的不等式是限制条件。

• 凸优化问题的条件，$f_0,f_1,...,f_m$都是凸函数。
• 凸优化问题的特点，局部最优解等价与全局最优解。
• 凸优化的问题求解，几乎总有现成的工具来求解。

2.凸集合与凸函数基本概念

凸集合与凸函数的关系

• 凸集合定义：如果一个集合$\Omega$中任何两点之间的线段上任何一个点还属于$\Omega$,那么$\Omega$就是一个凸集合：
  $$\lambda x_1+(1-\lambda )x_2\in \Omega ,\forall x_1,x_2\in \Omega ,\lambda \in (0,1)$$
• 凸函数定义：如果一个函数$f$定义域$\Omega$是凸集，而且对于任意两点。以及两点之间线段上任意一个点都有：
  $$f(\lambda x_1+(1-\lambda )x_2)\le \lambda f(x_1)+(1-\lambda )f(x_2),\forall x_1,x_2\in \Omega ,\lambda \in (0,1)$$
• 函数的上镜图：假设$f$是一个定义在$\Omega$上的函数，区域 { ( x , y ) ： y ≥ f ( x ) , ∀ x ∈ Ω \{(x,y)：y \ge f(x) ,\forall x \in \Omega {(x,y)：y≥f(x),∀x∈Ω就是$f$的上镜图。上镜图就是函数图像上方的部分区域。
• 凸集合与凸函数：一个函数就是凸函数当且仅当$f$的上镜图是凸集和。
• 凸组合：对于任何$n$个点 { x i } i = 1 n \{x_i\}_{i=1}^{n} {xi​}i=1n​，以及权重系数 { w i } i = 1 n \{w_i\}_{i=1}^n {wi​}i=1n​.若权重系数非负$w_i\ge 0$而且 $$\sum _{i=1}^n{w}_i{x}_i$$
  为一个凸组合.凸组合的物理意义可以理解为$n$个重量为$w_i$的点的整体重心。
• 集合的凸包：$n$个点 { x i } i = 1 n \{x_i\}_{i=1}^n {xi​}i=1n​的全部凸组合就构成了 { x i } i = 1 n \{x_i\}_{i=1}^n {xi​}i=1n​的凸包。
• 函数的凸闭包：如果$C$是函数$f$的上镜图，$\overline{C}$是$C的凸包，那么以\overline{C}为上镜图的函数称之为f的$凸闭包.

凸集合与凸函数的性质对应

• 集合的凸包的性质：$若\overline{C}是C的凸包，那么$：
  1. $C\subset \overline{C}$;
  2. $C的支撑平面也是\overline{C}的支撑平面(有多个支撑平面)，反正亦然。$
• 函数的凸闭包的性质：$若g是f的凸闭包，那么：$
  1. $g\le f$
  2. i n f { g } = i n f { f } inf\{g\}=inf \{f\} inf{g}=inf{f}(inf 是 infimum 的简称,一个集合最大的下界。)