统计学习方法——支持向量机（三）

支持向量机（三）

在这一块我们来进一步学习非线性支持向量机与核函数。

非线性支持向量机与核函数

核技巧

• 非线性分类问题
  非线性分类问题是指通过利用非线性函数才能很好地进行分类的问题。
  • 线性分类方法求解非线性分类问题
    • 使用一个变换将原空间的数据映射到新空间
    • 在新空间里用线性分类学习方法从训练数据中学习分类模型
• 核函数的定义
  设$\mathcal{X}$是输入空间（欧式空间$R^n$的子集或离散集合），设$\mathcal{H}$为特征空间（希尔伯特空间），如果存在一个从$\mathcal{X}$到$\mathcal{H}$的映射：
  $$\varphi \left(x\right):\mathcal{X}\to \mathcal{H}$$
  使得对所以$x,z\in \mathcal{X}$，函数$K\left(x,z\right)$满足条件
  $$K\left(x,z\right)=\varphi \left(x\right)\cdot \varphi \left(z\right)$$
  则称$K\left(x,z\right)$为核函数，$\varphi \left(x\right)$为映射函数，式中$\varphi \left(x\right)\cdot \varphi \left(z\right)$为$\varphi \left(x\right)$和$\varphi \left(z\right)$的内积。
  在学习和预测中只定义核函数$K\left(x,z\right)$，不显式地定义映射函数$\varphi$。
• 核技巧在支持向量机中的应用
  在线性支持向量机的对偶问题中，无论是目标函数还是决策函数都只涉及实例与实例之间的内积，在对偶问题的目标函数中$x_i\cdot x_j$可用核函数$K\left(x,z\right)=\varphi \left(x\right)\cdot \varphi \left(z\right)$替代。对偶函数的目标函数变为：
  $$W\left(\alpha \right)=\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K\left(x_i\cdot x_j\right)-\sum _{i=1}^N{\alpha }_i$$
  类似地分类决策函数为：
  $$f=sign(<$$