数学基础（二）：凸优化基础（仿射集，凸集，凸优化问题）

凸优化基础

数学基础系列博客是自己在学习了稀牛学院&网易云课堂联合举办的《人工智能数学基础》微专业后的课程笔记总结。怀着对授课讲师Jason博士无限的敬佩与感激之情，我在完整听了两遍课程之后，对这门进行了笔记整理。Jason博士用深入浅出的方式把数学知识真的是讲透彻了，我的笔记显然无法完整传达Jason博士的精彩授课内容，在此非常推荐每一个打算进入或了解AI的同学去学习这门课程！

一：一般优化问题

1.1 无约束优化问题

自变量为矢量的函数$f:{\mathbf{R}}^n\to \mathbf{R}$:
$$minf(\mathbf{x})\mathbf{x}\in {\mathbf{R}}^n$$
求解方法有两种：（均求得局部最优解，不一定是全局最优解，因为不知道函数的形状）

• 直接法求解。令$\nabla f(\mathbf{x})=0$,求得驻点，如果有必要，则再根据Hessian矩阵的正定性判断驻点的性质（局部极大、局部极小、鞍点）
• 迭代法求解
  • 梯度下降法（$d_k=-g_k)$,每次下降的方向为负梯度方向。
  • 牛顿法（$d_k=-H_k^{-1}{g}_k$),考虑泰勒级数中的二阶项。
  • 拟牛顿法（避免求Hessian矩阵的逆，使用另一个矩阵$S_k$近似)
    • DFP
    • BFGS
    • 两者的区别在于$S_k$的不同。

1.2 有约束优化问题

• 约束优化问题的一般形式：

$$\begin{gathered} minmize{f}_0(\mathbf{x}) \\ subjectto{f}_i(\mathbf{x})\le 0fori=1,2,...m \\ {h}_i(\mathbf{x})=0fori=1,2,...p \end{gathered}$$

• 可行域：满足$f(\mathbf{x})$定义域和约束条件的$\mathbf{x}$的集合。

• 举例：下图中虚线为等高线
  $$\begin{gathered} \text{minimize}f(\mathrm{x})=x_1^2+x_2^2-4x_1+4={\left(x_1-2\right)}^2+x_2^2 \\ \text{subject to}{c}_1(\mathrm{x})=x_1-2x_2+6\ge 0 \\ {c}_2(\mathrm{x})=-x_1^2+x_2-1\ge 0, \\ {c}_3(\mathrm{x})=x_1\ge 0, \\ {c}_4(\mathrm{x})=x_2\ge 0 \end{gathered}$$

1.3 补充知识 $\mathbf{A}\mathbf{x}=\mathbf{b}$

矩阵乘法
$$\underset{\mathbf{A}\in {\mathbb{R}}^{2\times 2}}{\underbrace{\left[\begin{array}{cc}2& -1\\ 1& 1\end{array}\right]}}\underset{\mathbf{x}\in {\mathbb{R}}^2}{\underbrace{\left[\begin{array}{l}x\\ y\end{array}\right]}}=\underset{\mathbf{b}\in {\mathbb{R}}^2}{\underbrace{\left[\begin{array}{l}1\\ 5\end{array}\right]}}$$

$$\underset{\mathbf{A}\in {\mathbb{R}}^{3\times 3}}{\underbrace{\left[\begin{array}{ccc}2& 1& 1\\ 4& -6& 0\\ -2& 7& 2\end{array}\right]}}\underset{\mathbf{x}\in {\mathbb{R}}^3}{\underbrace{\left[\begin{array}{l}u\\ v\\ w\end{array}\right]}}=\underset{\mathbf{b}\in {\mathbb{R}}^3}{\underbrace{\left[\begin{array}{c}5\\ -2\\ 9\end{array}\right]}}$$

• 行视图- 超平面
  $$\begin{array}{rl}2x-y& =1\\ x+y& =5\end{array}$$
  

对于$\mathbf{A}\mathbf{x}=\mathbf{b}$，从行视图的角度，可以理解为多个超平面的交集。所谓超平面，在二维空间中指直线，在三维空间中指平面。在更高维空间中，不可以可视化，但可以类比理解为$y={\mathbf{w}}^{\mathbf{T}}\mathbf{x}+b$的平面。

二：凸集和凸函数

2.1 凸集

2.1.1 凸集和仿射集

• 仿射集：集合中任意两点间的直线也在集合中，那么该集合称为仿射集。例如 x = θ x 1 + ( 1 − θ ) x 2 ∈ C , ( C ∈ R n , θ ∈ R ) \mathbf{x}=\theta\mathbf{x_1}+(1-\th