优化理论基础

算是读书笔记，记录一下。没有证明，只有定理。

一、最优化数学基础

1正定矩阵

1 正定矩阵定义

对应着半正定矩阵，负定矩阵，半负定矩阵和不定矩阵，这里只以正定矩阵为例。

 

则A为正定矩阵。

定义是一种常用的，用来判定某个对称矩阵是否是正定矩阵的方法。

2 正定矩阵的判定方法

（1）根据定义判断

（2）根据矩阵的顺序主子式判断

（3）根据矩阵的特征值判断

 

3 扩充知识点

（1）判定正定矩阵的第一种方法，定义。需要计算行向量乘矩阵乘列向量，了解矩阵的乘法，理清维度和最终返回的结果的维度。

（2）计算顺序主子式，就是计算不同阶数的行列式值。了解行列式的有关概念和性质；高阶行列式展开计算的方法，某一行或者某一列的元素乘以对应的代数余子式之和。

（3）矩阵的特征值。特征值的计算，根据定义，求解特征多项式的解。一个解就是一个特征值。根据特征值计算对应的特征向量，每个特征值都拥有基础解系，一重特征值在求解特征多项式过程中对应的维数为一，基础解系维度为一，三者一一对应。

（4）实对称矩阵。常用的，特殊的，很重要的一个矩阵。拥有很多优良性质。不同的特征值对应的特征向量相互正交，同一个特征值对应的解系里的特征向量不一定正交，可以通过施密特正交化转换成正交的。实对称矩阵A，存在正交矩阵Q，使得Q-1AQ=QTAQ为对角型矩阵，对角线上的元素即为特征值。Q特征值对应的特征向量正交化，归一化后，合并在一起的矩阵。

2 函数的凹凸性

1 区分凹函数和凸函数。求最小值是凸，最大值是凹。以凸函数为例。

 

2 凸函数的判定

（1）性质来判定

自变量线性组合对应的函数值小于等于自变量函数值对应的线性组合。

 

（2）一阶充要条件