人工智能与机器学习---凸优化基础

1、计算几何是研究什么的？

计算几何是对几何外形信息的计算机表示分析，研究的对象是几何图形。早期人们对于图像的研究一般都是先建立坐标系，把图形转换成函数，然后用插值和逼近的数学方法，特别是用样条函数作为工具来分析图形，取得了可喜的成功。然而，这些方法过多地依赖于坐标系的选取，缺乏几何不变性，特别是用来解决某些大挠度曲线及曲线的奇异点等问题时，有一定的局限性。

2、计算几何理论中（或凸集中）过两点的一条直线的表达式，是如何描述的？与初中数学中那些直线方程有什么差异？有什么好处？

设点为Q，线段为P1P2 ，判断点Q在该线段上的依据是：( Q - P1 ) × ( P2 - P1 ) = 0 且 Q 在以 P1，P2为对角顶点的矩形内。前者保证Q点在直线P1P2上，后者是保证Q点不在线段P1P2的延长线或反向延长线上。

初中数学描述的直线方程一般就是两点连成一条直线。

第一种描述更为专业。

3、凸集是什么？ 直线是凸集吗？是仿射集吗？

（1）集合C被称为凸集，如果C中任意两点间的线段仍然在C中，即对任意x1,x2⊆Cx1,x2⊆C 满足0≤θ≤10≤θ≤1 的 θθ都有

也就是说，凸集中的每一个点都可以被沿着它们之间一条无阻碍的路看见，那么这个集合就是凸集。

（2）直线不是凸集，直线可以表示为

（3）直线是仿射集。

4、三维空间中的一个平面，如何表达？

三维空间中的平面由两个量确定：
① 一个法向量（垂直于该平面的向量）
② 一个已知点（位于该平面上的一个点）

下面给出在已知平面的法向量n和平面上一个已知点P的情况下，平面的方程：
平面法向量为：n→=(a,b,c)Tn→=(a,b,c)T；
平面一个已知点：P=(x0,y0,z0)TP=(x0,y0,z0)T；
平面方程为：ax+by+cz−(ax0+by0+cz0)=0ax+by+cz−(ax0+by0+cz0)=0；
平面方程的另外一种写法：ax+by+cz+d=0ax+by+cz+d=0，其中，d=−(ax0+by0+cz0)d=−(ax0+by0+cz0)
或者是：ax+by+cz=dax+by+cz=d，其中，d=(ax0+by0+cz0)。

5、更高维度的“超平面”，如何表达？

超平面H是从n维空间到n-1维空间的一个映射子空间，它有一个n维向量和一个实数定义。因为是子空间，所以超平面一定过原点。
n 维空间中的超平面由下面的方程确定：

其中，w 和 x 都是 n 维列向量，x 为平面上的点，w 为平面上的法向量，决定了超平面的方向，b 是一个实数，代表超平面到原点的距离。且：

6、什么是“凸函数”定义？什么是Hessen矩阵? 如何判别一个函数是凸函数？f(x)=x^3 函数是凸函数吗？

（1）凸函数是一个定义在某个向量空间的凸子集C上的实值函数f，而且对于凸子集C中任意两个向量 ， 有f((x1+x2)/2)>=(f(x1)+f(x2))/2成立。

（2）黑塞矩阵（Hessian Matrix），又译作海森矩阵、海瑟矩阵、海塞矩阵等，是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。

（3）对于一元函数f(x)，我们可以通过其二阶导数f′′(x) 的符号来判断。如果函数的二阶导数总是非负，即f′′(x)≥0 ，则f(x)是凸函数。

对于多元函数f(X)，我们可以通过其Hessian矩阵（Hessian矩阵是由多元函数的二阶导数组成的方阵）的正定性来判断。如果Hessian矩阵是半正定矩阵，则是f(X)凸函数。

（4）f(x)=x^3 函数是凸函数吗？
f’(x)=3x²
f’’(x)=6x
在整个区间f’’(x)不是恒大于等于0的，所以它不是凸函数。

7、什么是“凸规划”？如何判别一个规划问题是凸规划问题。举例说明？

（1）求优化问题§ min f(x),当D为凸集，且函数f(x)为凸函数，则称该规划为凸规划。

（2）与一般的最优化问题标准形式相比。凸规划有三点附加条件：
a、目标函数f (x)必须是凸函数；
b、不等式约束函数gi(x)必须是凸函数，不等式gi(x)≤ 0组成的区域为凸集；
c、等式约束函数。

（3）考虑下面的极小化问题:：

设f(x)是凸函数, gi(x)是凸函数, hj(x)是线性函数。
那么这个问题的可行域S就是m+l个凸集的交, 还是凸集。