百面机器学习笔记

第三章 经典算法–支持向量机

12月12日

对于任意线性可分的两组点，在SVM分类的超平面上的投影都是线性不可分的。

证明大概是这样的：首先通过反证法证明，存在一个超平面，使得SVM让所有支持向量在该超平面上的投影依然可分，但是对于可分的这个情况，支持向量却存在更优的超平面，因此不满足于SVM的前提超平面是"最大化的间隔平面"的定义，故证明投影是线性不可分的。

接着作者又补充了证明，即刚才的反证法只是考虑了支持变量，但是那个存在更优超平面的支持向量已经不是原来超平面的支持向量了，那是否还能用这个来证明呢？于是接下来就是证明就是：证明SVM分类结果仅仅依赖于支持向量。
(这点我有个疑问，就是支持向量是否就是保持不变的？无论超平面如何变化，支持变量还是那些。)

书中用了两种方法，这里只陈述第一种，第二种涉及的凸优化概念没有看懂：如图，KKT条件是考虑最优点处，用来求解既带有等式约束和不等式约束的极值。首先根据KKT条件，得出alpha取值三种情况下的约束条件的取值，对于线性可分的问题，满足于当alpha等于0的情况，而alpha等于0时，又有L = 1/2 w^2，故证明最优化问题只与支持向量w有关。