【机器学习的一些问题】经典算法之支持向量机

支持向量机Support Vector Machine：数据/分类面/优化/核映射/分类超平面

 

对于任意线性可分的两组点，它们在SVM的分类超平面上的投影点都是线性不可分的。为什么？

• 极端假设。二维空间只存在两个点，那么它们的分类超平面就是两点连线中垂线，它们的投影点显然重合于中垂线与连线的交点。
• 反证法。假设有两组点，然后假设它们在分类超平面的投影点线性可分，那么很显然这个分类超平面并不是最优的，与最优解矛盾。
• 详细的证明。推导公式发现，SVM的分类结果仅依赖于支持向量。
• 巧用凸优化理论中的超平面分离定理Separating Hyperplane Theorem，SVM求得的超平面实际上就是两个凸包距离最短的两点连线的中垂线。而由于凸包的点要不是样本点，要不是样本点的连线，因此两个凸包距离最短的两个点情况就存在3种可能性。简略画图，发现无论哪种情况下，两类点的投影均是线性不可分的。

 

待补充：

SMO算法

SVM训练误差为零诸多情况