凸优化

凸优化

由于在SVM等各种地方都会用凸优化来解决问题，所以本篇博客将系统的介绍凸优化如何做，以及一些常见的问题。

基本概念

仿射集(Affine Set)

定义：通过集合C中任意两个不同点的直线仍然在集合C内，则称集合C为仿射集.
$\forall x_{1},x_{2} \in C, \forall \theta \in R, 则x = \theta * x_{1} + (1 - \theta) * x_{2} \in C$

凸集

定义：集合C内任意两点间的线段均在集合C内，则成集合C为凸集。
$\forall x_{1},x_{2} \in C, \forall \theta \in [0, 1], 则x = \theta * x_{1} + (1 - \theta) * x_{2} \in C$

由于仿射集的条件比凸集的条件要强一些，所以仿射集一定是凸集。

保凸性运算

• 集合交运算；
• 仿射变换：f = Ax + b的形式；
• 透视变换；
• 投射变换

凸函数

定义：若函数f的定义域domf为凸集，且满足$\forall x, y \in fom f, 0 <= \theta <= 1, 有f(\theta x + (1 - \theta)y) <= \theta f(x) + (1 - \theta)f(x)$

• 一阶可微
  若f一阶可微，则函数f为凸函数当且仅当f的定义域为凸集，且$\forall x,y \in domf, f(y) \ge f(x) + \nabla f(x)^{T}(y-x)$.
  所以，对于凸函数，其一阶Taylor近似本质上是该函数的全局下估计。

• 二阶可微
  若函数f二阶可微，则函数f为凸函数当且仅当dom为凸集，且 ∇2f</