西瓜书《机器学习》阅读笔记之第六章支持向量机SVM

• 第6章 支持向量机

  • 6.1 间隔与支持向量

    • 分类学习最基本的想法就是基于训练、集 D 在样本空间中找到一个划分超平面、将不同类别的样本分开 [P120]

    • 

    • 
      [P120]

      其中 w = (w1;w2，…，wd) 为法向量，决定了超平面的方向; b为位移项，决定了超平面与原点之间的距离.

      ---

    • 
      [P121]

      样本空间中任意点x到超平面(w, b)的距离

      ---

    • 距离超平面最近的这几个训练样本点使式{wx + b >= +1或wx + b <= -1}的等号成立，它们被称为 “支持向量”(support vector) ，两个异类支持向量到超平面的距离之和为r=2/||w|| , 它被称为 “间隔” (margin). [P121]

    • 
      [P121]

    • 欲找到具有"最大|闯陆" (maximum margin) 的划分超平面，也就是要找到能满足式 (6.3) 中约束的参数 w 和 b ， 使得 γ 最大 [P121]

    • 
      [P122]

  • 6.2 对偶问题

    • 注意到SVM的基本型本身是一个凸二次规划 (convex quadratic programming) 问题，能直接用现成的优化计算包求解，但我们可以有更高效的办法. [P122]

    • 使用拉格朗日乘子法可得到其"对偶问题" (dual problem). [P122]

      数学证明略过

      ---

  • 6.3 核函数

    • 在现实任务中，原始样本空间内 也许并不存在一个能正确划分两类样本的超平面 [P125]

    • 例如 在图 6 . 3 中 3 若将原始的二维空 间 映射到一个合适的三维空间 ，就能找到一个合适的划分超平面 . 幸运的是，如果原始空 间 是有限维 ， 即属性数有限?那么 一定存在一个高维特征空间使样本可分 [P125]

    • 
      [P125]

    • 
      [P125]

    • 
      [P127]

  • 6.4 软间隔与正则化

    • 在现实任务中往往很难确定合适的核函数使得训练样本在特征空 间 中线性可分;退一步说 ，即使恰好找到了 某个核函数使训练集在特征空 间中 线性可分?也很难断定这个貌似线性可分的结果不是由于过拟合所造成的 . [P128]

    • 缓解该 问题的一个办法是允许支持向 量机在一些样本上出错.为此，要引入"软间隔" (80ft margin) 的概念， 如图 6.4所示 [P128]

    • 
      [P128]

    • 
      [P129]

    • L0/1非凸、非连续，数学性质不太好，使得式 (6.29)不易直接求解.于是，人们通常用其他一些函数来代替L0/1， 称为"替代损失" (surrogate loss). [P129]

    • 
      [P129]

    • 
      [P130]

  • 6.5 支持向量回归

  • 6.6 核方法

  • 6.7 阅读材料