西瓜书 第六章 支持向量机

---

一、间隔与支持向量

西瓜书讲的太复杂了 其实总的知识点个人认为 上图就可以概括。

二、对偶问题

对最大化间隔使用拉格朗日乘子法可得到其“对偶问题”。（就是一个求偏导的过程）

三、核函数

核函数指所谓径向基函数（Radial Basis Function 简称 RBF），就是某种沿径向对称的标量函数。 通常定义为空间中任一点x到某一中心xc之间欧氏距离的单调函数 , 可记作 k（||x-xc||）， 其作用往往是局部的 , 即当x远离xc时函数取值很小。其目的是希望通过将输入空间内线性不可分的数据映射到一个高纬的特征空间内使得数据在特征空间内是可分的

原理

根据模式识别理论，低维空间线性不可分的模式通过非线性映射到高维特征空间则可能实现线性可分，但是如果直接采用这种技术在高维空间进行分类或回归，则存在确定非线性映射函数的形式和参数、特征空间维数等问题，而最大的障碍则是在高维特征空间运算时存在的“维数灾难”。采用核函数技术可以有效地解决这样问题。

设x,z∈X,X属于R（n）空间,非线性函数Φ实现输入空间X到特征空间F的映射,其中F属于R（m）,n<

K(x,z) =<φ x=“x” φ=“Φ” z=“z”> (1)
其中：<, >为内积,K(x,z)为核函数。从式(1)可以看出，核函数将m维高维空间的内积运算转化为n维低维输入空间的核函数计算，从而巧妙地解决了在高维特征空间中计算的“维数灾难”等问题，从而为在高维特征空间解决复杂的分类或回归问题奠定了理论基础。

在选用核函数的时候，如果我们对我们的数据有一定的先验知识，就利用先验来选择符合数据分布的核函数；如果不知道的话，通常使用交叉验证的方法，来试用不同的核函数，误差最下的即为效果最好的核函数，或者也可以将多个核函数结合起来，形成混合核函数

常用的核函数
线性核函数 ，线性核，主要用于线性可分的情况，我们可以看到特征空间到输入空间的维度是一样的，其参数少速度快，对于线性可分数据，其分类效果很理想，因此我们通常首先尝试用线性核函数来做分类，看看效果如何，如果不行再换别的
**多项式核函数，**多项式核函数可以实现将低维的输入空间映射到高纬的特征空间，但是多项式核函数的参数多，当多项式的阶数比较高的时候，核矩阵的元素值将趋于无穷大或者无穷小，计算复杂度会大到无法计算。
高斯（RBF）核函数高斯径向基函数是一种局部性强的核函数，其可以将一个样本映射到一个更高维的空间内，该核函数是应用最广的一个，无论大样本还是小样本都有比较好的性能，而且其相对于多项式核函数参数要少，因此大多数情况下在不知道用什么核函数的时候，优先使用高斯核函数。
sigmoid核函数采用sigmoid核函数，支持向量机实现的就是一种多层神经网络。

四、软间隔和正则化

前面的方法都是假设线性的，实际上很多都不是线性的，这时候就需要用到软间隔（不满足约束条件）。引入损失函数和松弛变量。
软间隔增强泛化能力，可防止过拟合，但容易产生欠拟合。
当数据含有噪声时，我们可以适当降低最大距离的要求。同时，加入惩罚项避免一味降低要求。和之间避免过拟合加入正则项类似。