数学优化学习笔记

在方程中 我们习惯用

这样的形式来描述我们的二次中矩阵的规划形式

并且P其实是该方程的黑塞矩阵

黑塞矩阵的求法为

也就是说 在一个二元二次方程中 左上为x1二次求导结果 右下为对x2二次求导结果 其余为分别对x1、x2求导结果

剩下的部份就是正常的Ax=b来描述了

 

 

 

 

凸优化问题的基本形式

凸函数的判断方式：

通过梯度的方法可以进行对凸函数的判断，但是需要的计算量较大。

通过对函数的结构进行分析。

注意：线性规划和最小二乘问题都是凸优化的一种特殊形式。

解决方法：

线性规划：内点法、单纯形法

凸优化：内点法

 

Using convex optimization is, at least conceptually, very much like using leastsquares or linear programming. If we can formulate a problem as a convex optimization problem, then we can solve it efficiently, just as we can solve a least-squares problem efficiently. With only a bit of exaggeration, we can say that, if you formulate a practical problem as a convex optimization problem, then you have solved the original problem.

即是说，只要转化形式成功，基本就可以解出原问题了。但相对而言，凸优化问题较之最小二乘问题，更加难以转化。

凸锥的定义

最小二乘法

判断最小二乘法的方法：

Recognizing an optimization problem as a least-squares problem is straightforward; we only need to verify that the objective is a quadratic function (and then test whether the associated quadratic form is positive semidefinite).

目标函数是否为二次方程，同时检测该形式是否为半正定。

其上为最小二乘的形式和解的方法。

 

非线性优化：已知的目标函数、约束函数为非线性，但未知是否凸。

 

序列二次规划：

用以解决非线性问题的工具