凸优化极简入门

在机器学习中，常常会涉及到凸优化相关内容，例如最大熵原理、SVM、神经网络的优化器。
本文对机器学习中涉及到的必须要掌握的凸优化相关内容做一个简单归纳。

一般优化问题

无约束优化问题

⾃变量为⽮量的函数 $f$: $R^n\to R$
$$\min f(\mathbf{x})\mathbf{x}\in {\mathbb{R}}^n$$
局部最优解常规方法

• 直接法
  • 梯度等于 0，求得驻点，必要时 Hessian 矩阵再进⼀步判断
• 迭代法
  • 梯度下降法
  • 牛顿法
  • 拟牛顿法

⼀般约束优化问题案例

考虑以下约束优化问题
$$\begin{array}{rl}\text{minimize}& f(\mathbf{x})=x_1^2+x_2^2-4x_1+4={\left(x_1-2\right)}^2+x_2^2\\ \text{subject to}& c_1(\mathbf{x})=x_1-2x_2+6\ge 0\\ & c_2\left(\mathbf{x}\right)=-x_1^2+x_2-1\ge 0;c_3\left(\mathbf{x}\right)=x_1\ge 0;c_4\left(\mathbf{x}\right)=x_2\ge 0\end{array}$$
目标函数是圆的半径，不断向外扩，找到可行域内使得圆半径最小的值即为解。

行视图

矩阵乘法
$$\begin{array}{c}\underset{\mathbf{A}\in {\mathbb{R}}^{2\times 2}}{\underbrace{\left[\begin{array}{cc}2& -1\\ 1& 1\end{array}\right]}}\underset{\mathbf{x}\in {\mathbb{R}}^2}{\underbrace{\left[\begin{array}{c}x\\ y\end{array}\right]}}=\underset{\mathbf{b}\in {\mathbb{R}}^2}{\underbrace{\left[\begin{array}{c}1\\ 5\end{array}\right]}}\\ \underset{\mathbf{A}\in {\mathbb{R}}^{3\times 3}}{\underbrace{\left[\begin{array}{ccc}2& 1& 1\\ 4& -6& 0\\ -2& 7& 2\end{array}\right]}}\underset{\mathbf{x}\in {\mathbb{R}}^3}{\underbrace{\left[\begin{array}{c}u\\ v\\ w\end{array}\right]}}=\underset{\mathbf{b}\in {\mathbb{R}}^3}{\underbrace{\left[\begin{array}{c}5\\ -2\\ 9\end{array}\right]}}\end{array}$$
行视图-超平面
$$\begin{array}{rl}2x-y& =1\\ x+y& =5\end{array}$$

凸集/凸优化函数

为什么要凸优化

• 思考：对于⽆约束优化问题，梯度等于 0 这⼀条件是否可以成为充要条件？
• 思考：什么样的情况局部最⼩解可以成为全局最⼩解？
• 思考：约束优化问题怎么办？
• 思考：研究凸优化问题对于⾮凸问题⼜有什么帮助？

仿射集 (Affine Sets) 和凸集

仿射

⼀个集合 $C\in R^n$ 是仿射的，则 $C$ 中两点间的直线也在 $C$ 中
例如 $x=\theta x_1+(1-\theta )x_2\in C;\theta \in R$，即 $Ax=b$ 的解

凸集

⼀个集合 $C\in R^n$ 是凸的，则对于任意的 $x;y\in C$，有 $\theta x_1+(1-\theta )x_2\in C;0\le \theta \le 1$

注意：国内很多教材为了与汉字 “凸” 与 “凹” 相呼应，对于凹凸性与国外教材正好是相反的，这里Boyd编写的教材《Convex Optimization》为准。

常见的凸集

空间与平面

• 所有 $R^n$ ，给定任意 $x;y\in R^n$ , 则有 $\theta x+(1-\theta )y\in R^n$
• 所有 $R_{+}^n$
• 超平⾯ (Hyperplane): 既是仿射⼜是凸
  C = { x ∣ a T x = b } C=\{\mathbf{x}\mid\mathbf{a}^T\mathbf{x}=b\} C={ x∣aTx=b}
• 半空间 (Halfspace)：只是凸
  

范数球

范数回顾

• 2-norm
  $$\Vert \mathbf{x}{\Vert }_2=\sqrt{\sum _{i=1}^n|x_i{|}^2}=({\mathbf{x}}^T\mathbf{x}{)}^{1/2}$$
• 1-norm：
  $$\Vert \mathbf{x}{\Vert }_1=\sum _{i=1}^n|x_i|$$
• ∞-norm
  $$\Vert \mathbf{x}{\Vert }_{\infty }=\underset{i=1,...,n}{\max }|x_i|$$
• p-norm, p ≥ 1：
  $$\Vert \mathbf{x}{\Vert }_p=\sqrt[p]{\sum _{i=1}^n|x_i{|}^p}$$
  范数球也是凸集
  范数球，例1如 $||x|{|}_2\le 1$． 给定任意 $x;y\in R_n且||x||——2\le 1，||y||——2\le 1$ ，则有
  $||\theta x+(1-\theta )y|{|}_2\le \theta ||x|{|}_2+(1-\theta )||y|{|}_2\le 1$
  

多面体

多⾯体 (Polyhedron): 有限个半空间和半平⾯的交集
P = { x ∣ A x ≤ b ; C x = d } , 其中 A ∈ R m × n , b ∈ R m , C ∈ R p × n , d ∈ R p \begin{aligned}\mathbf{P}=\{\mathbf{x}\mid\mathbf{A}\mathbf{x}\leq\mathbf{b};\mathbf{C}\mathbf{x}=\mathbf{d}\},\text{其中 A}\in\mathbb{R}^{m\times n},\mathbf{b}\in\mathbb{R}^m,\mathbf{C}\in\mathbb{R}_{p\times n},\mathbf{d}\in\mathbb{R}_p\end{aligned} P={ x∣Ax≤b;Cx=d},其中 A∈Rm×n,b∈Rm,C∈Rp×n​,d∈Rp​​

凸集的性质

凸集的交集是凸集
例如：$S=\Vert x\Vert \le 1;x\ge 0$
证明：假定$S_1;\cdots ;S_k$是凸集，给定\$\mathbf{x};\mathbf{y}\in {\cap }_{i=1}^k{S}_i$,则有
$$\theta \mathbf{x}+(1-\theta )\mathbf{y}\in S_i;i=1;\cdots ;k$$
因此，
$$\theta \mathbf{x}+(1-\theta )\mathbf{y}\in {\cap }_{i=1}^k{S}_i$$