【机器学习7】认识凸优化

1、计算几何是研究什么的？

计算几何研究的对象是几何图形。早期人们对于图像的研究一般都是先建立坐标系，把图形转换成函数，然后用插值和逼近的数学方法，特别是用样条函数作为工具来分析图形，取得了可喜的成功。然而，这些方法过多地依赖于坐标系的选取，缺乏几何不变性，特别是用来解决某些大挠度曲线及曲线的奇异点等问题时，有一定的局限性。

2、计算几何理论中过两点的一条直线的表达式?与初中学的直线方程有什么差异?

我们假设两个点不相同:$x1!=x2$ ​
那么就有直线方程：$y=\theta x1+(1-\theta )x2$

计算几何与平面几何（初高中学习）的区别就是维度的不一样，计算几何在平面的基础上添加了角度的维度，这意味着计算的复杂性提高了，但是计算的结果更加的广泛，更加的精确，更容易全方位的表达一条直线，举个例子说，就是我们的视觉从180度扩展到了360度。

3、凸集是什么？ 直线是凸集吗？是仿射集吗？

在凸几何中，凸集是在凸组合下闭合的仿射空间的子集。更具体地说，在欧氏空间中，凸集是对于集合内的每一对点，连接该对点的直线段上的每个点也在该集合内。例如，立方体是凸集，但是任何中空的或具有凹痕的例如月牙形都不是凸集。

凸集是单点或一条不间断的线，二、三维空间中的凸集就是直观上凸的图形，例如二维中有扇面、圆、椭圆等，三维中的实心球体等，所以，直线属于凸集。

仿射集亦称仿射流形、线性流形、仿射簇，是实线性空间中的一类子集。所以直线属于仿射集，且为维数为1

4、三维空间中的一个平面如何表达？

三维空间中的平面主要通过建立公式模型来表达。
我们假设三维的直线方程为:
$Ax+By+Cz+D=0$
然后通过特定的方法求解ABCD：
解法一、是已知三个点，建立三个方程，解三个未知数；
解法二、克莱姆法则
解法三…（很多方法）

5、更高维度的“超平面”，如何表达？

高维度超平面的表达
在数学中，超平面（Hyperplane）是n维欧氏空间中余维度等于1的线性子空间。这是平面中的直线、空间中的平面之推广。设F为域其中
$F=IR$
则n维空间Fn中的超平面是由如下方程表示：
$a1x1+...+anxn=b$
超平面H是从n维空间到n-1维空间的一个映射子空间，它有一个n维向量和一个实数定义。设d是n维欧式空间R中的一个非零向量，a是实数，则R中满足条件dX=a的点X所组成的集合称为R中的一张超平面。

6、什么是“凸函数”定义？

凸函数的简单定义
任意两点的函数值的连线上的点都在曲线的上方，我们成为凸函数。

7.什么是Hessen矩阵?

什么是Hessen矩阵
Hessian Matrix（黑塞矩阵、海森矩阵、海瑟矩阵、海塞矩阵etc.）,它是一个多元函数的二阶偏导数构成的方阵，用以描述函数的局部曲率。黑塞矩阵最早于19世纪由德国数学家Ludwig Otto Hesse提出，并以其名字命名。黑塞矩阵常用于牛顿法解决优化问题。

8.如何判别一个函数是凸函数？

一元函数的判别
对于一元函数f(x)，我们可以通过其二阶导数f′′(x)的符号来判断。
如果函数的二阶导数总是非负，即f′′(x)≥0 ，则f(x)是凸函数

多元函数的判别
对于多元函数f(X)，我们可以通过其Hessian矩阵的正定性来判断。如果Hessian矩阵是半正定矩阵，则是f(X)是凸函数

9.f(x)=x^3 函数是凸函数吗？

f(x)=x^3的图像如下所示，如红线所示，连线并不都位于弧线上方，因此该函数不是凸函数！

10、什么是“凸规划”？如何判别一个规划问题是凸规划问题。

凸规划定义：
设$f(x)$及$gi(x),i=1,...,m$均为$R^n$上的凸函数，则称最优化问题为凸规划。

如何判别一个规划问题是凸规划问题？
与一般的最优化问题标准形式相比，凸规划有三点附加条件： （1）目标函数f(x)必须是凸函数；
（2）不等式约束函数$gi(x)$必须是凸函数，不等式gi(x)≤0组成的区域为凸集；
（3）等式约束函数$hj(x)=aTjx-bj$ 必须是仿射的（即线性函数和常函数的和函数）。
因此我们得出以下结论：凸规划的可行域是凸集。因为每个约束条件的点集都是凸集，它们的交集也是凸集。

11.验证下列(MP)是凸规划

第一步：
求解f(x)与g1(x)、g2(x)、g3(x)的Hessen矩阵：

四个都是凸函数，所以为凸规划！

参考自：https://blog.csdn.net/qq_42451251/article/details/105676633