【机器学习】凸优化基础知识

一、计算几何

计算几何是研究什么的？

计算几何研究几何模型和数据处理的学科，讨论几何形体的计算机表示、分析和综合，研究如何方便灵活、有效地建立几何形体的数学模型以及在计算机中更好地存贮和管理这些模型数据。

二、两点一线

计算几何理论中（或凸集中）过两点的一条直线的表达式，是如何描述的？与初中数学中那些直线方程有什么差异？有什么好处？(按自己的体会)

• 描述
  空间中存在两个点满足$$x_1\ne x_2$$
  则可确定一条直线$$y=\theta x_1+(1-\theta )x_2$$

• 点斜式和两点式
  初中数学中，设直线 l 上的两点P₁、P₂的坐标分别为 (x₁,y₁)和(x₂,y₂)，且 x₁ $\ne$ x₂
  所以直线 l 的斜率为
  $$k=\frac{y_2-y_1}{x_2-x_1}$$
  在直线 l 上任意取一点P(x,y)，将直线 l 的斜率k以及P点的坐标代入直线的点斜式方程 y-y₀=k(x-x₀)中得:
  $$y-y_1=\frac{y_2-y_1}{x_2-x_1}\ast (x-x_1)$$
  化简得:
  $$\frac{y-y_1}{y_2-y_1}=\frac{x-x_1}{x_2-x_1}$$
  此为直线 l 的两点式方程。

• 差异

对象	对比
计算几何理论	广泛的表示n维欧式空间内所有的两个点连成的直线，它能够表达二维平面上的任何直线。
初中数学	是一个直观的几何对象，二维坐标系（平面）中求解的直线方程，是初中生在二维空间了解直线的起点。两点式方程不能用来表示坐标轴或与坐标轴平行的直线。

三、凸集/仿射集

凸集是什么？ 直线是凸集吗？是仿射集吗？

• 凸集是什么？
  （1）凸几何中：凸集是在凸组合下闭合的仿射空间的子集。
  （2）欧氏空间中：凸集是对于集合内的每一对点，连接该对点的直线段上的每个点也在该集合内。

• 仿射集是什么？
  仿射集是指欧氏空间 $R^n$ 中具有以下性质的点集$M$：对任意 $x,y\in M$以及任意实数$\lambda$,总有
  $$(1-\lambda )x+\lambda y\in M$$
  仿射集亦称仿射流形、线性流形、仿射簇，是实线性空间中的一类子集。非空间射集 M 的维数定义为上述子空间 L 的维数。空集的维数定义为 -1。维数分别为0、1、2的仿射集为点、直线和平面。

• 直线
  直线是凸集，也是维数为1的仿射集。

四、平面

三维空间中的一个平面，如何表达？

• 一般式
  $$Ax+By+Cz+D=0$$

• 截距式
  $$\frac{x}{a}+\frac{y}{b}+\frac{z}{c}=1$$

• 点法式
  $$m(x-x_0)+n(y-y_0)+p(z-z_0)$$

五、超平面

更高维度的“超平面”，如何表达？

• 定义
  超平面是指n维线性空间中维度为n-1的子空间。它可以把线性空间分割成不相交的两部分。比如二维空间中，一条直线是一维的，它把平面分成了两块；三维空间中，一个平面是二维的，它把空间分成了两块。

• 表达
  法向量：$\omega$
  常数：$b$
  公式：${\omega }^{T}x+b=0$
  参考：如何理解超平面？
  

六、凸函数

什么是“凸函数”定义？什么是Hessian Matrix 矩阵? 如何判别一个函数是凸函数？f(x)=x^3 函数是凸函数吗？

• 定义
  凸函数是一个定义在某个向量空间的凸子集$C$上的实值函数$f$，而且对于凸子集$C$中任意两个向量$x_1$、$x_2$对于以下式子成立
  $$f(\frac{x_1+x_2}{2})\ge \frac{f(x_1)+f(x_2)}{2}$$

• Hessian Matrix矩阵
  Hessen矩阵是是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率，利用黑塞矩阵可判定多元函数的极值问题

• 凸函数判定
  （1）对于一元函数$f(x)$，我们可以通过其二阶导数$f^{\prime \prime }(x)$ 的符号来判断。如果函数的二阶导数总是非负，即$f^{\prime \prime }(x)\ge 0$ ，则$f(x)$是凸函数。
  （2）对于多元函数$f(X)$，我们可以通过其Hessian矩阵的正定性来判断。如果Hessian矩阵是半正定矩阵，则$f(X)$是凸函数。

• $f(x)=x^3$是凸函数吗？
  对$f(x)$求二阶导数得：$f^{\prime \prime }(x)=6x$
  判断：当$x\ge 0$时$f^{\prime \prime }(x)\ge 0$，当$x<0$时$f^{\prime \prime }(x)<0$，所以$f(x)$不是凸函数。

七、凸规划

什么是“凸规划”？如何判别一个规划问题是凸规划问题。

• 定义
  

• 凸规划问题判定
  判断下列不等式约束函数是否为凸函数
  
  

八、参考

机器学习必备知识点——凸优化