吃瓜笔记Task5

支持向量机

一、间隔与支持向量

• 支持向量：能支持样本正确分类的点（能使6.3成立的点）

  

  

   

  

   

  

   

• 间隔：两个异类支持向量到超平面的距离之和

• 

• 支持向量机基本型：要最大化间隔，则需

  

  注：凸二次规划问题，可用现成优化计算求包解，下面给出更高效方法。

  二、对偶问题

  对上式使用拉格朗日乘子法得到“对偶问题”

  

  

   

   

  

   

  

   

  

   

  

   

  如何求解式（6.11）？二次规划问题，可用二次规划求解，但实际任务开销大。

  下介绍SMO算法：

  

  

   

• 变量选取：选取差别大的变量，更新后会带给目标函数值更大的变化

• 违背KKT条件程度最大的变量

• 使目标函数值减少最快

• 仅考虑这条件，约束6.11可写为：

  

  

   

  

   

   

  三、核函数

• 背景：现实样本中，并非都线性可分。但幸运的是，都存在更高维度的特征空间使它线性可分。

  

  

   

  6.21涉及两映射函数内积计算，维数太大，计算困难，为此用下式避开障碍：

  

   

  公式重写和求解：

  

   

• 核函数：

  

   

• 常用核函数：

  

  四、软间隔与正则化

• 软间隔：