031. SVM 支持向量机

代价函数及原理

作为一种二类分类模型，与逻辑回归的区别：

• 超平面与间隔：

  
  

  由点到平面距离公式以及平面公式相关知识，可知 wx+b 的正负和绝对值大小可以表示分类预测结果以及相对的预测确信程度。

  SVM对分类取 -1，+1：主要是方便计算，契合超平面分类。（只要有两个不同只都等价于分类）

  
  （这里令函数间隔为1，方便计算）
  ~决定分类超平面时仅支持向量起作用，在间隔边界外移动或去除实例其他点，不会改变解。

• 如何求解上面的约束优化问题？

  答：利用拉格朗日乘子法、拉格朗日对偶性及KKT条件。
  (这里先省去展开。。小白的总结不好)

• 加入软间隔（利用松弛变量、替代 0/1 损失函数）：