1. 二次规划的由来
在1940年左右(1939年 Leonid Kantorovich 总结发表了线性规划), 线性规划LP被提出来, 10年后, QP作为Non-Linear Programming, NLP被总结发表。
顾名思义, 二次规划就是把一次规划(线性规划, LP)的目标公式扩展到二次函数:
这里 Q 是对称矩阵(Symmetric Matrix)
那么这样修改目标之后, 会带来什么改变?
首先从图上来看, 最大的变化就是二次带来等高线( contour line )不再是直线, 这样使得最值点不再是限制多面体的角上,可能是边上,或者内部。
同时, 这样改变之后有什么好处?
QP第一次统一了线性规划LP和最小二乘法LS,
欧式距离: 最小二乘法,LS
Hamitton 距离,或者Chebyshev距离: 线性回归, LP
这样,基于利用QP就可以统一描述不同距离公式下的回归的参数求解。
前面, 我们说了QP是LP和LP在不同角度的扩展:
-
Q