线性模型回顾
SVM处理非线性
通过限制条件和最小化,我们能够使ξ既不会很大,也不会很小(因为当ξ很大时,限制条件1恒成立)
对于解决非线性问题,有一部分人认为可以在使数据维数不变的情况下,寻找曲线或曲面,而SVM认为,通过将低维的数据映射到高维,在高维的空间中寻找一条直线,使其分开的概率更大。
且维度越大,被线性分开的可能性更大,若维度是无限维,则可能性为1.
异或问题的解决
已知:
我们要构造一个:φ(x)
最终,我们要在这个五维平面中,找到w(也是五维的)和b,使得计算机能够分开c1和c2.(w要和φ(x)同一维度)
这里给出一种情况:
验证:
核函数
我们可以不知道无限维映射φ(x)的显示表达,我们只要知道一个核函数满足下式,那么我们在1中的优化式任然可解。
下面是两个常用的核函数
Mercer’s Theorem
如何根据核函数k代替φ(x)
这里需要使用优化理论。
SVM的目标:
将目标转化为原问题:
转化成对偶问题:
将上述结果代入θ中,化简得
总结