【机器学习】6.支持向量机

🚩 西瓜书 第六章笔记它来咯！
🚩 本章核心内容为SVM（支持向量机），将数据升维，使其线性可分！

---

---

间隔与支持向量

• 训练集：以二分类为例
  
  
• 超平面可以用线性方程描述：
  
• 样本空间中任意点 x 到超平面 （w,b）的距离为：
  
  
• 目标：找到最大间隔的划分超平面，即：
  
• 最大化 $||w|{|}^{-1}$ ，这等价于最小化 $||w|{|}^2$ ，于是上式重写为：
  
• 上式就是支持向量机（SVM）的基本型

对偶问题

• 为了求解式6.6的 凸二次规划 问题，可以使用现成的优化计算包求解，但是有更高效的办法
• 对式6.6使用拉格朗日乘子法得到其“对偶问题”
  【什么是拉格朗日乘子法】

• 令未知量 w 和 b 求偏导为零得：
  

• 求得模型：
  

• 上述过程需要满足KKT条件：
  

• 支持向量机有一个重要的性质：训练完成后，大部分的训练样本都不需保留，最终模型仅支持向量有关。

核函数

• 如果样本在当前维度线性不可分（例如异或问题），那么一定存在一个高维特征空间使得样本可分。
• 二分类问题最好仅用一个超平面来分类。
  
• 高维 超平面 模型可以表示为：
  
• 为了求解其中的模型参数，根据之前的经验，有如下目标函数及其约束方程：
  
• 其对偶问题为：
  
  
• 为了避免困难的计算，可以设想一个可以在原始样本空技能中直接计算的函数，其结果就是高纬内积（假装存在这样一个函数，意淫ing）：
  
• 于是解得 支持向量展式：
  

定理（核函数）：

• 上述定理表明，只要一个对称函数对应的核矩阵半正定，就能作为核函数使用。
• 对于一个半正定核矩阵，总能找到一个与之对应的映射 $\varphi$
• 任何一个核函数都隐式定义了一个 再生核希尔伯特空间 RKHS 的特征空间。
  
• 核函数的线性组合也是核函数；两个核函数的直积也是核函数；任意函数与核函数相乘也是核函数

软间隔与正则化

• 针对部分线性不可分问题，提出了软间隔来允许支持向量机在一些样本上出错。
  
• 在最大化间隔的同时，不满足约束的样本应尽可能少。优化目标可写为：
  
• 其中 C 为正常数，式中的0/1损失函数为：
  
• 当 C 为 ∞ 时，使得所有样本均能满足约束，为强间隔。
• 由于0/1损失函数非凸、非连续，因此常使用一些“替代损失函数”，方便公式6.29的求解：
  
  
• 引入“松弛变量”，得到（软间隔支持向量机）：
  

支持向量回归 SVR

• 对于回归问题（拟合），希望得到一条间隔带，使得更多的样本落入此间隔带中。
  
• 式中包含不敏感损失函数：
  

核方法

表示定理：
----------------------------------------条件----------------------------------------
令 H 为核函数对应的再生核希尔伯特空间
$||h|{|}_H$ 表示空间中关于 h 的范数
对于任意单调递增函数 Ω

对于任意非负损失函数 $l$

---------------------------------------------------------------------------------------.
优化问题

可表示为

• 表示定理对损失函数没有限制，对正则化项Ω 仅要求单调递增，甚至不需要是凸函数，意味着对于一般的损失函数和正则化项，优化问题6.57的最优解 $h^{\ast }(x)$ 都可以表示成核函数的线性组合。 这显示出核函数的巨大威力。