支持向量机基础之核函数

学习笔记来自《知识发现》—史忠植

核函数

常用的核函数主要有：$\color{blue}{多项式核函数、径向基函数、多层感知机、动态核函数等。}$

多项式核函数

多项式函数

$$K(x,x_i)=[(x,x_i)+1]^d \tag{1}$$ 可得到 $d$阶多项式分类器 $$f(x,\alpha)=sign(\operatorname*\sum_{support vector} y_i\alpha_i[(x_i \cdot x)+1]^d - b)$$

径向基函数

经典的方法，判定规则

$$f(x)=sign(\sum_{i=1}^l \alpha_iK_{\gamma}(\vert x-x_i \vert)-b) \tag{2}$$ 其中， $K_{\gamma}(\vert x-x_i \vert)$取决于两个向量之间的距离 $\vert x-x_i \vert$.对于任意 $\gamma$，函数 $K_{\gamma}(\vert x-x_i \vert)$是一个肺腑的单调函数。当样本数趋于无穷时它趋于0，最通用的判定规则是采用高斯函数 $$K_{\gamma}(\vert x-x_i \vert) = exp\{{-{\vert x-x_i \vert} \over \sigma^2}\} \tag{3}$$ 构造式(2)的判定规则必须估计：

• 参数 $\gamma$ 的值
• 中心点 $x_i$ 数目 $N$
• 描述中心点向量 $x_i$
• 参数 $\alpha_i$ 的值

与传统的的径向基函数方法的区别：这里每个径向基函数的中心点对应一个支持向量，中心点本身和输出权值都是由SVM训练算法来自动确定的。

多层感知机

采用 sigmoid 函数作为内积，实现了包含一个隐层的多层感知机，隐层节点数目由算法自动确定，满足Mercer条件的 Sigmoid 核函数为

$$K(x_i,x_j)=tanh(\gamma x_i^Tx_j-\Theta) \tag{4}$$

动态核函数

Amari和Wu通过对核函数的黎曼几何分析，提出利用实验数据逐步修正原有核函数，以更好的适应实际问题。设特征映射$U=\Phi(x)$,则

$$dU=\sum_i{{\partial \over \partial x_i}\Phi(x)dx_i}$$ $$\Vert dU \Vert^2=\sum_{i,j}g_{ij}(x)dx_idx_j$$
其中 $g_{ij}(x)=({\partial \over \partial x_i}\Phi(x))\cdot ({\partial \over \partial x_j}\Phi(x))$,非负定阵 $(g_{ij}(x))$为 $R^n$上的黎曼张量， $ds^2 = \sum_{ij}g_{ij}(x)dx_idx_j$为 $R^n$上的黎曼距离。黎曼空间，体积 $$dv=\sqrt{g(x)}dx_1...dx_n$$ ,并有 $g(x)=det(g_{ij}(x))$, $g(x)$(放大因子)反映了特征空间中点 $\Phi(x)$附近局部区域被放大的程度。
因为 $k(x,z)=(\Phi(x) \cdot \Phi(z))$,可证 $$g_{ij}(x)={\partial \over \partial x_i\partial z_i}k(x,z)\mid_{z=x}$$ 特别对高斯函数 $k(x,z)=exp\{{\vert x-z \vert^2 \over {2\sigma^2}}\},g_{ij}(x)={1 \over \sigma^2}\delta_{ij}$.
为有效地将两类不同的模式区别开来，并希望尽量拉大它们之间的距离，即尽量放大分离曲面附近的局部区域，可用修正核函数的办法到达此目的，设 $c(x)$是正的可微实函数， $k(x,z)$是高斯核，则 $$\widetilde k(x,z)=c(x)k(x,z)c(z) \tag{5}$$ 也是核函数，且 $$\widetilde g_{ij}(x)=c_i(x)c_j(x)+c^2(x)g_{ij}$$ 其中 $c_i(x)={\partial \over \partial x_i}c(x)$.Amari和Wu设 $c(x)$有如下形式 $$c(x)=\sum_{x_i \in {SV}}h_ie^{{\Vert x-x_i\Vert}^2 \over {2\tau^2}} \tag{6}$$ 其中， $\tau \gt0$是参数， $h_i$是权系数。在支持向量 $x_i$附近有， $$\sqrt{\widetilde g(x)} \approx {h_i \over \sigma^n}e^{nr^2 \over {2\tau^2}} \sqrt{1+{\sigma^2 \over \tau^4}\gamma^2}$$ 其中， $\tau=\vert x-x_i\vert$是欧式距离，为保证 $\sqrt{\widetilde g(x)}$在 $x_i$附近取最大值，同时在其他区域取较小值，计算有 $$\tau \approx {\sigma \over \sqrt{n}} \tag{7}$$ 那么，新的训练过程由两步组成：

• 先用某个核k(高斯核)进行训练，然后按照式(5)、(6)、(7)得到修正的核$\widetilde k$
• 用$\widetilde k$进行训练

这种改进的训练方法可明显的降低错误识别率，还可以减少支持下向量的个数，从而提高识别速度。