机器学习——凸优化基础知识

一、计算几何

（一）计算几何是研究什么的

计算几何作为CAD的基础理论之一，主要研究内容是几何形体的数学描述和计算机表述，它同计算机辅助几何设计，即CAGD有着十分密切的关系。而CAGD是由微分几何、代数几何、数值计算、逼近论、拓扑学以及数控技术等形成的一门新兴边缘学科，其主要研究对象和内容是对自由形曲线、曲面的数学描述、设计、分析及图形的显示、处理等。

（二）直线的表达式

直线的表示：y=θx₁+(1-θ)x₂，θ∈R

二、凸集

（一）凸集是什么

凸集的定义：集合C内任意两点间的线段均在集合C内，则称集合C为凸集。

（二）三维空间中的一个平面如何表达

1、点法式方程
法向量n=(A,B,C)，平面上的点M0(x0,y0,z0)
A(x-x0)+B(y-y0)+C(z-z0)=0
2、一般方程
Ax+By+Cz+D=0
3、截距型方程
平面上的点A(a,0,0),B(0,b,0),C(0,0,c)
x/a+y/b+z/c=0

（三）更高维度的“超平面”如何表达

超平面：{x|a^Tx=b}
where a∈Rⁿ,a≠0,and b∈R

三、凸函数

（一）凸函数的定义

凸函数是一个定义在某个向量空间的凸子集C上的实值函数f，而且对于凸子集C中任意两个向量x1,x2有f((x₁+x₂)/2)≥f(x₁+x)/2成立

（二）Hessian Matrix矩阵

Hessian矩阵是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率，利用Hessian矩阵可判定多元函数的极值问题。

（三）如何判别凸函数

1、对于一元函数f(x)，可以通过其二阶导数f’’(x)的符号来判断，如果函数的二阶导数总是负数，即f’’(x)≥0,则函数f(x)是凸函数
2、对于多元函数f(x)，可以通过其Hessian矩阵的正定性来判断，如果Hessian矩阵是半正定矩阵，则是f(x)凸函数
3、判别f(x)=x³函数是否为凸函数
①对f(x)求二阶导数 y’’=6x
②判断二阶导数的值
x>0,y’‘非负，x<0 y’'为负，所以函数不是凹函数

四、凸规划

五、参考

1、机器学习必备知识点——凸优化