最优化第一讲——概念

概念性质的

凸集：convex sets。任意两个点的线性组合还属于这个集合。也就意味着任意两点的连线还是这个集合中，形式化表示为。不是凸集的例子：圆环，凸集的例子：椭圆

一范数: 向量各个维度绝对值的和

二范数: 向量各个维度的平方和的开根号

超平面：二维空间是一条直线，三维空间是一个平面，更高空间就是超平面，统称超平面

会将这个空间分成两部分

 凸集的支撑面：图集的边界点，有一个超平面过这个边界点，并且图片的点都在超平面的一侧。 

凸函数：点的线性组合的函数值，小于函数值的线性组合，相当于人站在下方往上看，直线既是凸函数也是凹函数，不要求函数连续和可导可微，定义域必须是凸集

驻点和鞍点

驻点：一阶导数为0的点，包括三种：极大值点、极小值点、鞍点

鞍点：马鞍的形状，沿着某些方向是极大值点，沿着另外一些方向是极小值点，如下图

正定矩阵：满足两个条件，一是必须是对阵矩阵，二是满足式子：X’AX>0

半正定矩阵：满足两个条件，一是必须是对阵矩阵，二是满足式子：X’AX>=0

负定矩阵：满足两个条件，一是必须是对称矩阵，二是满足式子：X'AX<0

奇异矩阵：满足两个条件，一是必须是方阵，二是|A|=0，也就是A的行列式为0。若不等于0，则A为非奇异矩阵，这时矩阵可逆