svm支持向量机_SVM支持向量机(三)

非线性支持向量机

其主要特点是利用核技巧，核技巧不仅应用于支持向量机而且应用于其他统计学习问题.

---

1,非线性可分问题:

一般来说给定的一个训练数据集T={(x1,y1),(x2,y2),...,(xN,yN)},其中实例xi属于输入空间,xi∈X=R^n,对应的标记有两类yi∈Y={-1,+1},i=1,2,...,N.如果能用R*中的一个超曲面将正负例正确分开，则称这个问题为非线性可分问题.

---

2,举个例子

---

3,线性分类方法求解非线性分类问题的步骤:

• 首先使用一个变换将原空间的数据映射到新空间;

• 然后在新空间用线性分类学习方法从训练数据中学习分类模型;

核技巧就属于这样的方法.

---

4,核函数的定义

设 X是输入空间(欧式空间R^n的子集或者离散集合),又设H为特征空间(希尔伯特空间),如果存在一个从X到H的映射:

使得对所有x,z∈X,函数K(x,z)满足条件:

则称K(x,z)为核函数，Φ(x)为映射函数

---

5,核技巧的思想

在学习和预测中只定义核函数K(x,z),而不显示的定义映射函数Φ,通常直接计算K(x,z)比较容易，而通过Φ(x),Φ(z)计算K(x,z)并不容易.

举个例子

---

6,正定核

通常所说的核函数就是正定核函数(positive definite kernel function)

i,假设K(x,z)是定义在X*X上的对称函数,并且对任意的x1,x2,...,xm∈X,K(x,z)关于x1,x2,...,xm的Gram矩阵矩阵是半正定的，可以依据函数K(x,z)构成一个希尔伯特空间.其步骤是:首先定义映射Φ并构成向量空间S;然后在S上定义內积构成內积空间;最后将S完备化构成希尔伯特空间.

ii,正定核的充要条件

设K:X*X->R是对称函数，则K(x,z)为正定核函数的充要条件是对任意xi∈X,i=1,2,...,m,K(x,z)对应的Gram矩阵:

是半正定矩阵.

iii,正定核的等价定义:设X⊆R^n,K(x,z)是定义在X*X上的对称函数，如果对任意xi∈X,i=1,2,...,m,K(x,z)对应的Gram矩阵:

是半正定矩阵,则称K(x,z)是正定核.

---

7,常用的核函数

i,多项式核函数(polynomial kernel function)

对应的支持向量机是一个p次多项式分类器,在此情形下，分类决策函数为:

ii,高斯核函数(Gaussian kernel function)

对应的支持向量机是高斯径向基函数分类器，在此情形下分类决策函数为:

iii,字符串核函数

核函数不仅可以定义在欧式空间上，还可以定义在离散数据的集合上，比如字符串核是定义在字符串集合上的核函数，字符串核函数在文本分类，信息检索，生物信息学等方面都有应用.

---

8,非线性支持向量分类机

利用核技巧可以将线性分类的学习方法应用到非线性分类问题中去，将线性支持向量机扩展到非线性支持向量机，只需要将线性支持向量机对偶形式中的內积换成核函数. 非线性支持向量机:从非线性分类训练集，通过核函数与软间隔最大化，或凸二次规划，学习得到的分类决策函数:

称为非线性支持向量,K(x,z)是正定核函数

非线性支持向量机学习算法

---

欢迎大家点个在看，分享至朋友圈  记录技术记录我