十大算法--支持向量机

一、拉格朗日对偶性

在学习SVM之前，首先要理解什么是拉格朗日对偶性，
1.原始问题
假设f(x),ci(x),hj(x)是定义在Rn上的连续可微函数，考虑yue束优化问题

称此问题为原始问题。

2.由原始问题引入的拉格朗日函数

这里x=(x(1),x(2),…x(n))属于Rn，ai，βi是拉个朗日乘子，ai>=0。另外，考虑以下问题：

显然,L(x,ai,βi)的第三个多项式为0,若是上述问题求得最大值,只有当ai取0值的情况下可以得到.当上述问题取得最大值时,则θp(x)=f(x).因此,有如下关系式:

如果此时再考虑最小化问题

这个问题与原始问题是等价的,他们有相同的解.因此可以把原始问题当作广义拉格朗日函数的极大极少问题.

3.对偶问题
我们称以下问题为上述C.8问题的对偶问题