《统计学习方法》学习笔记二

第七章 支持向量机

• 支持向量机（support vector machines，SVM）是一种二类分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；支持向量机还包络核技巧，这使它成为实质上的非线性分类器。

• 支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划（covex quadratic programming）的问题，也等价于正则化的合页损失函数的最小化问题。

• 支持向量机的学习算法就是求解凸二次规划的最优化算法。

• 支持向量机学习方法包含构建由简到繁的模型：线性可分支持向量机、线性支持向量机及非线性支持向量机。

• 线性可分支持向量机与硬间隔最大化

• 线性可分支持向量机

• 函数间隔核几何间隔

• 间隔最大化

• 学习的对偶算法

• 线性支持向量机与软间隔最大化

• 线性支持向量机

• 学习的对偶算法

• 支持向量

• 合页损失函数

• 非线性支持向量机与核函数

• • 核技巧：
    • 非线性问题往往不好求解，所以希望用解线性分类问题的方法解决这个问题。所采取的方法是进行非线性变换，将非线性问题转化为线性问题，通过解变换后的线性问题的方法求解原来的非线性问题。
    • 用线性分类方法求解非线性分类问题分为两步：首先使用一个变换将原空间的数据映射到新空间，然后在新空间里用线性分类学习方法从训练数据中学习分类模型。核技巧就属于这种方法。
  • 正定核
    • 通常所说的核函数就是正定核函数。
  • 常用核函数
    • 多项式核函数
    • 高斯核函数
    • 字符串核函数
  • 非线性支持向量分类机

• 序列最小最优化问题（sequential minimal optimization）：SMO算法包括两个部分，求解两个变量二次规划的解析方法和选择变量的启发式方法

• • 两个变量二次规划的求解问题
  • 变量的选择方法
  • SMO算法