机器学习技法笔记2：SVM的对偶形式

2 SVM的对偶形式

前一篇见：机器学习技法笔记1： 线性SVM

2-1 SVM对偶形式的目的

1、上次学习过

上一节课我们说过，使用SVM得到large-margin，减少了有效的VC Dimension，限制了模型复杂度；另一方面，使用特征转换，目的是让模型更 复杂，减小Ein。所以说，非线性SVM是把这两者目的结合起来，平衡这两者 的关系。那么，特征转换下，求解QP问题在z域中的维度设为d~+1，如果 模型越复杂，则d~+1越大，相应求解这个QP问题也变得很困难。当d^无 限大的时候，问题将会变得难以求解，那么有没有什么办法可以解决这个问题 呢？

比较一下，我们上一节课所讲的Original SVM二次规划问题的变量个数是 d~+1，有N个限制条件；本节课，我们把问题转化为对偶问题（Equivalent SVM），同样是二次规划，只不过变量个数变成N个，有N+1个限制条件。
这种对偶SVM的好处就是问题只跟N有关，与d~无关，这样就不存在上文 提到的当d~无限大时难以求解的情况。
如何把问题转化为对偶问题（Equivalent SVM），其中的数学推导非常复 杂，本文不做详细数学论证，但是会从概念和原理上进行简单的推导。






也就证明了，这种min(max…)的形式和原始的有条件问题是等价的

2-2 拉格朗日SVM对偶形式

1、 对于一个任意的a’,一定小于最大的L(b,w,a)，即：




那么，上述不等式关系就变成强对偶关系，≥变成=，即一定存在满足条件的解 (b,w,α)，使等式左边和右边都成立，SVM满足条件，SVM的解就转化为右边的形式。


4、

之后将会考虑采用最优的a来求解（b,w）

2-3 解决对偶问题

2-4 对偶形式背后SVM的含义

1、回忆一下， 位于分类线边界的胖胖的点使我们需要的点，其他的是不需要的

2、



4、 那么，在前三讲中，我们采用了两种表示SVM的方法。

5、
那么我们做完了吗？ 我们原来的目标是解决问题，但是不依赖于d~，因为可能维数过大不好求 解。