前言:
有时,分类问题是非线性的。这时候可以用非线性支持向量机,主要特点是核技巧。
一 核技巧
二 核函数定义
三 核技巧在SVM中的应用
四 正定核
五 常用核函数
六 非线性支持向量机
一 核技巧
如上左图分离平面是一个椭圆,通过变换变成直线。非线性问题,变成线性可分问题。
设原空间
新空间
定义原空间到新空间的变换(映射)
,经过变换,原空间变换为新空间Z,原空间的点相应变换为新空间的点,
原空间的椭圆
边为新空间的直线
这样原空间的非线性问题,变成新空间线性可分问题。
用线性分类方法,求解非线性问题,分为两步:
1.1 原空间数据映射到新的空间
1.2 新空间里用线性分类学习方法从训练数据中学习分类模型。
二 核函数定义
2.1 核函数定义
设x是输入空间,H是特征空间(希尔伯特空间),如果存在一个x到H的隐射
使得对所有的,函数K(x,z)满足条件
则称 为核函数, 为映射函数
核技巧思想: 只定义核函数,而不显示定义映射函数,通常计算核函数比较容易
例子: 假如输入空间是,核函数是找出其相关的特征空间H,和映射空间
解: 取特征空间,由于
取映射函数:
则
三 核函数在SVM中的应用
在对偶问题的目标函数中的内积可以用核函数来替代
替换为核函数
目标函数:
分类决策函数:
四 正定核
函数K(x,z)满足什么样的条件才能称为核函数,假设K(x,z)是定义在XxX上的对称函数,并对任意的
, 关于的Gram矩阵是半正定的。可依据K(x,z)构成一个希尔伯特空间
其步骤为:
定义映射并构成向量空间S,
在S上定义内积构成内积空间,
最后将S完备化构成希尔伯特空间
3.1 定义映射,构成向量空间S
先定义映射
根据这一映射,对任意 线性组合
该元素集合为S,构成一个向量空间
3.2 S上定义内积,使其称为内积空间
在S上定义一个运算*,对任意,
定义运算
证明运算*是空间S的内积,为此要证
,
........................4
主要证明式4:
先证 :
充分性:
,Gram矩阵的半正定性只上式右端非负,f*f>=0
必要性:
于是
关于的二次三项式,非负,其判别式小于等于0,即
即
再证若 ,则f=0.
根据上面必要性条件
=
当 f*f =0 ,|f(x)| =0
3.3 内积空间转为希尔伯特空间
将内积空间S完备化,范数为
S是一个赋范向量空间,对不完备的赋范向量S,一定可以使之完备化,得到完备的赋范向量空间H
。一个内积空间,当作为一个赋范向量空间是完备时候,就是希尔伯特空间。这样就得到了希尔伯特空间H
这一希尔伯特空间H称为再生核希尔伯特空间,这是由于K具有再生性,即满足
称为再生核
3.4 正定核函充要条件
定理 设K 是对称函数,则K(x,z)为正定核函数的充要条件是对仍以
对应的Gram 矩阵
是半正定的。
证明:
必要性:
由于K(x,z) 是X*X上的正定核,所以存在从X到希尔伯特空间H的映射,使得
于是,对任意,构造K(x,z)关于的Gram矩阵
对于任意,有
所以K(x,z)关于关于的Gram矩阵 是半正定的
充分性
已知对称函数K(x,z)对任意 关于的Gram矩阵是半正定的
根据前面的结果,对于给定的K(x,z),可以构造X到某个希尔伯特H的映射
因为
并且
由上面式子可得
表明K(x,z) 是X*X上的核函数
五 常用核函数
5.1 PKF(polynomial kernel function) 多项式核函数
分类决策函数为:
5.2 高斯核函数
分类决策函数为:
六 非线性支持向量分类机
输入: 训练数据集
输出: 分类决策函数
6.1 选取核函数K(x,z)以及适当的参数C,构造并求解最优化问题
6.2 选择的一个正分量,使得 ,计算
6.3 构造决策函数
参考文档:
《统计学习方法》
《机器学习与应用》