svm

支持向量机

对偶形式

1.***kkt条件**最优化时，等式约束满足拉格朗日函数，不等式约束g（x）<=0，解要满足KKT条件，满足这三个条件的解x就是极小值点。

最后一个条件为kkt互补条件
2.对偶问题
原始问题的对偶问题是极大极小问题

核函数

1. 输入空间映射到更高维的特征空间
   二维空间的圆映射成为三维空间的平面
   非线性问题转化为线性问题
   特征空间是希尔伯特空间（完备的内积空间）

2. 核函数定义
假设X是输入空间，H是特征空间，存在一个映射ϕ，使得X中的点x能够计算得到H空间中的点h ：h=ϕ(x)
对于所有的X中的点都成立，x，z是X空间中的点。函数k(x,z)满足条件： k(x,z)=ϕ(x)⋅ϕ(z)
都成立，则称k为核函数，而ϕ为映射函数。
其中ϕ(x) 是对x做变换的函数，有些变换会将样本映射到更高维的空间，如果这个高维空间内x1x1与x2x2是线性可分的，那么我们就做了一次成功的变换。核函数是二元函数，输入是变换之前的两个向量，其输出与两个向量变换之后的内积相等（这个性质非常重要）
即：特征空间上向量的内积=原始输入空间上的核函数

3.特征空间的内积—>特征空间的几何性质：距离和角度

4.一个简单的分类器

将这个简单的分类器表示为核函数

5.
有一个有限正半定的核函数K，就有对应的映射函数和特征空间。
正定核的充要条件：对应的Gram矩阵是半正定矩阵。

常用的核函数：

1、线性核函数
线性核函数是最简单的核函数，是径向基核函数的一个特例，公式为：

主要用于线性可分的情形，对应上一篇讲的线性可分支持向量机与线性支持向量机。它在原始空间中寻找最优线性分类器，具有参数少速度快的优势。
2、多项式核函数
多项式核适合于正交归一化（向量正交且模为1）数据，公式为：

多项式核函数属于全局核函数，允许相距很远的数据点对核函数的值有影响。参数d越大，映射的维度越高，计算量就会越大。当d过大时，由于学习复杂性也会过高，易出现“过拟合现象。
3、径向基核函数&高斯核函数
径向基核函数属于局部核函数，当数据点距离中心点变远时，取值会变小。公式为：

高斯核函数可以看作是径向基核函数的另一种形式：
高斯径向基核对数据中存在的噪声有着较好的抗干扰能力，由于其很强的局部性，其参数决定了函数作用范围，随着参数σ的增大而减弱。
4、Sigmoid核函数
Sigmoid核函数来源于神经网络，被广泛用于深度学习和机器学习中。公式为：

采用Sigmoid函数作为核函数时，支持向量机实现的就是一种多层感知器神经网络。支持向量机的理论基础（凸二次规划）决定了它最终求得的为全局最优值而不是局部最优值，也保证了它对未知样本的良好泛化能力。
5、字符串核函数
核函数不仅可以定义在欧氏空间上，还可以定义在离散数据的集合上。字符串核函数是定义在字符串集合上的核函数，可以直观地理解为度量一对字符串的相似度，在文本分类、信息检索等方面都有应用。
6.傅立叶核：K ( x , x i ) = 1 − q 2 2 ( 1 − 2 q cos ( x − x i ) + q 2 )
7 。样条核K ( x , x i ) = B 2 n + 1 ( x − x i )

核函数在svm中的应用

非线性支持向量机的学习算法。
在核函数给定的条件下，学习是隐式的在特征空间上进行的。实际应用中，往往依赖领域知识直接选择核函数，核函数选择的有效性需要通过实现验证。

未知量αα的个数与样本的个数是相等的，那么这个对偶问题计算的时间复杂度是与训练样本的个数正相关的(这也是为啥样本个数太多的时候不推荐使用带核技巧的SVM的原因)。