第七章 支持向量机
- 支持向量机(support vector machines,SVM)是一种二类分类模型,它的基本模型是定义在特征空间上的间隔最大的线性分类器,间隔最大使它有别于感知机;支持向量机还包络核技巧,这使它成为实质上的非线性分类器。
- 支持向量机的学习策略就是间隔最大化,可形式化为一个求解凸二次规划(covex quadratic programming)的问题,也等价于正则化的合页损失函数的最小化问题。
- 支持向量机的学习算法就是求解凸二次规划的最优化算法。
- 支持向量机学习方法包含构建由简到繁的模型:线性可分支持向量机、线性支持向量机及非线性支持向量机。
- 线性可分支持向量机与硬间隔最大化
- 线性可分支持向量机
- 函数间隔核几何间隔
- 间隔最大化
- 学习的对偶算法
- 线性支持向量机与软间隔最大化
- 线性支持向量机
- 学习的对偶算法
- 支持向量
- 合页损失函数
- 非线性支持向量机与核函数
- 核技巧:
- 非线性问题往往不好求解,所以希望用解线性分类问题的方法解决这个问题。所采取的方法是进行非线性变换,将非线性问题转化为线性问题,通过解变换后的线性问题的方法求解原来的非线性问题。
- 用线性分类方法求解非线性分类问题分为两步:首先使用一个变换将原空间的数据映射到新空间,然后在新空间里用线性分类学习方法从训练数据中学习分类模型。核技巧就属于这种方法。
- 正定核
- 通常所说的核函数就是正定核函数。
- 常用核函数
- 多项式核函数
- 高斯核函数
- 字符串核函数
- 非线性支持向量分类机
- 核技巧:
- 序列最小最优化问题(sequential minimal optimization):SMO算法包括两个部分,求解两个变量二次规划的解析方法和选择变量的启发式方法
- 两个变量二次规划的求解问题
- 变量的选择方法
- SMO算法