[机器学习](五)cs229之支持向量机

1.    SVM的原理：

在特征空间中寻找间隔最大化的分离超平面的线性分类器。

包含三类：

a. 线性可分的线性支持向量机: 训练样本线性可分，通过硬间隔最大化，学习线性分类器

b. 线性不可分的线性支持向量机：训练样本近似线性可分，引入松弛变量，通过软间隔最大化，学习线性分类器

c. 非线性支持向量机：训练样本线性不可分，通过核技巧及软间隔最大化，学习非线性支持向量机

公式推导：

线性可分的线性支持向量机：

(1)目标函数的由来（函数间隔和几何间隔）

(2)将原目标函数转化成对偶问题（原目标函数的拉格朗日函数）

(3)求解对偶问题

线性不可分的线性支持向量机和非线性支持向量机的思路与上述内容都一致，会推导一个其他的也不难了。

2.    采取间隔最大化的原因(区别于感知器的误分类最小策略)：

(1)当样本线性可分时，存在无穷多个分离超平面可将两类数据分开，感知器利用误分类最小策略，求得超平面有无穷多个。SVM利用间隔最大化求得最优分离超平面的解是唯一 的，且鲁棒性最强，泛化能力最强。

(2)几何间隔和误分次数的关系：

其中的δ是样本集合到分类面的间隔，R=max||xi||  i=1,...,n，即R是所有样本中（xi是以向量表示的第i个样本）向量长度最长的值（也就是说代表样本的分布有多么广）。先不必追究误分次数的具体定义和推导过程，只要记得这个误分次数一定程度上代表分类器的误差。而从上式可以看出，误分次数的上界由几何间隔决定！（当然，是样本已知的时候）

3.    原始问题转化成对偶问题的原因：

(1)  求解更加简单http://blog.csdn.net/xianlingmao/article/details/7919597

(2)  为了引入核函数，推广至非线性分类问题

4.    核技巧

利用线性分类问题解决非线性分类问题的一种方法：首先使用一个变换将原始空间的数据映射到新空间；然后在新空间里用线性分类学习方法从训练数据中学习分类模型。

        核技巧的想法是：只定义核函数K(x,y)，而不显式地定义映射函数ϕ。因为特征空间维数可能很高，甚至可能是无穷维，因此直接计算ϕ(x)·ϕ(y)是比较困难的。相反，直接计算K(x,y)比较容易。

5.    RBF核函数的理解

RBF函数的形式如下：

Gauss径向函数是局部性强的核函数，其外推能力随着参数σ的增大而减弱。这个核会将原始空间映射为无穷维空间。不过，如果 σ 选得很大的话，高次特征上的权重实际上衰减得非常快，所以实际上（数值上近似一下）相当于一个低维的子空间；反过来，如果 σ 选得很小，则可以将任意的数据映射为线性可分——当然，这并不一定是好事，因为随之而来的可能是非常严重的过拟合问题。不过，总的来说，通过调控参数σ ，高斯核实际上具有相当高的灵活性，也是使用最广泛的核函数之一。

6.    为什么SVM对缺失数据敏感：

这里说的缺失数据是指缺失某些特征数据，向量数据不完整。SVM没有处理缺失值的策略（决策树有）。而SVM希望样本在特征空间中线性可分，所以特征空间的好坏对SVM的性能很重要。缺失特征数据将影响训练结果的好坏。

7.    惩罚因子：

        C的作用：C决定了重视离群点带来损失的程度，C越大说明越重视离群点，越不愿意放弃离群点，考虑极端情况，当C定为无限大时，只要有一个离群点，目标函数的值就会变成无限大，退化成硬间隔问题。

8.    SMO算法

所做笔记：