概要
传统的QP问题是解决线性的约束二元方程组,并且只能解决小几千的数据。故笔者提出了SVM解决QP问题,并且不限制数量。
导论
前人的SVM政策局限:支持向量的数量比较小,支持向量的总数不超过3000。而笔者可以解决这两个问题,并且虽然在论文中展示的是分类问题,但是仍然可以解决回归问题。
支持向量机简述
泛化误差:经过训练集训练后,模型通过测试集的误差,被称为测试误差
交叉验证:将数据集分为测试集和训练集的方法叫做交叉验证
一个简单的分类问题,需要找到一个超平面,使得这个平面,最大化到两个类的距离(margin),或者最小化两类离超平面最近点距离的和。
数据集: D = ( x i , y i ) i = 1 l D={(x_i,y_i)}_{i=1}^{l} D=(xi,yi)i=1l, y i ∈ − 1 , 1 y_i\in{-1,1} yi∈−1,1
定义一个函数: f ( x ) = s i g n ( ∑ i = 1 l λ i y i x T x i + b ) f(x)=sign(\sum_{i=1}^{l}\lambda_iy_ix^Tx_i+b) f(x)=sign(∑i=1lλiyixTxi+b)
这里的 λ i \lambda_i λi就是PQ问题