Machine Learning Watermelon Book Blog 5

Chapter 6

 

6.1 间隔与支持向量

在样本空间中，划分超平面可通过如下线性方程来描述：

其中w = (w1;w2;...;wd)为法向量，决定了超平面的方向；b为位移项，决定了超平面与原点之间的距离。

样本空间中任意点x到超平面（w,b）的距离可写为

假设超平面（w,b）能将训练样本正确分类，即对于：

支持向量（support vector）：

两个异类支持向量到超平面的距离之和为

它也被称为间隔（margin）。

6.2 对偶问题

• 拉格朗日函数：
• 对偶问题：
• 
• KKT条件：
• 
• 支持向量机的一个重要性质：训练完成后，大部分的训练样本都不需保留，最终模型仅与支持向量有关。

 6.3 软间隔与正则化

• 软间隔：允许某项样本不满足约束，在最大化间隔的同时，不满足约束的样本应该尽可能少
• 目标函数：

 

• 常用的软间隔支持向量机：
•  软间隔支持向量机的对偶问题：

•  KKT条件：
•  软间隔支持向量机的最终模型仅与支持向量有关，即通过采用hinge损失函数仍保持了稀疏性。
• 正则化：

 6.4 支持向量回归（SVR）

• SVR目标函数：

•  SVR对偶问题：

 

• KKT条件：
•  解：

条件：