其他机器学习系列文章见于专题:机器学习进阶之路——学习笔记整理,欢迎大家关注。
在介绍二次规划问题前,我们先介绍正定矩阵和半正定矩阵的定义:
正定矩阵:设 M M M是 n n n阶方阵,如果对任何非零向量 z z z,都有 z T M z > 0 z^T Mz>0 zTMz>0,则称 M M M为正定矩阵。
半正定矩阵:设 M M M是 n n n阶方阵,如果对任何非零向量 z z z,都有 z T M z ≥ 0 z^T Mz≥0 zTMz≥0,则称 M M M为半正定矩阵。
二次规划(Quadratic Programming,简称QP)是一类典型的优化问题。二次规划问题的一般形式为:
min
x
1
2
x
T
Q
x
+
c
T
x
s.t.
A
x
⩽
b
\begin{array} { c l } { \min _ { x } } & { \frac { 1 } { 2 } x ^ { T } Q x + c ^ { T } x } \\ { \text {s.t.} } & { A x \leqslant b } \end{array}
minxs.t.21xTQx+cTxAx⩽b
(1)若 Q Q Q为半正定矩阵,则上面的目标函数是凸函数,相应的二次规划为凸二次规划问题;此时若约束条件 A x ⩽ b { A x \leqslant b } Ax⩽b定义的可行域不为空,且目标函数在此可行域有下界,则该问题有全局最小值。
(2)若 Q Q Q为正定矩阵,则该问题有唯一的全局最小值。
(3)若 Q Q Q为非正定矩阵,则该问题是有多个平稳点和局部极小点的NP难问题。
常用的二次规划问题求解方法有:椭球法、内点法、增广拉格朗日法、梯度投影法等。
参考文献:
- 《机器学习》附录B.1——周志华