对SVM核函数的理解

SVM核函数

谈一谈自己对核函数的理解

我觉得SVM的核函数能够帮助将低维度的特征向量转换到对应高维度的特征向量，此外转换到对应高维度特征向量后内积便会大大的简化。由于SVM中的运算大多是内积，所以…

举列子

假设定义两个向量：$X=(x_1,x_2)$和$Y=(y_1,y_2)$
由于上述是两个高维度的特征向量，但是我们想要特征向量扩展到更高维度的话，怎么拓展呢？同时又怎么减少计算量呢？
假设我们要把$x$这个特征给变换到更高维度，那么我们应该增加到几维，以及高维度后的向量应该怎么定义呢？
不要怕，我们选择了核函数其实就选了如果扩展到高维度的方法。
假设我们选择了2度的多项式核函数，即$K(X_i,X_j)=(<X_i,X_j>{)}^2$
那么此时表示的是将特征向量X扩展为:
$$\begin{gathered} f(X)=(x_1{x}_1,x_1{x}_2,x_2{x}_1,x_2{x}_2) \\ f(Y)=(y_1{y}_1,y_1{y}_2,y_2{y}_1,y_2{y}_2) \end{gathered}$$
此时$$<f(X),f(Y)>=x_1{x}_1{y}_1{y}_1+x_1{x}_2{y}_1{y}_2+x_2{x}_1{y}_2{y}_1+x_2{x}_2{y}_2{y}_2$$
是不是很难，但是利用核函数变为如下：
$$<f(X),f(Y)>=K(X,Y)=(<X,Y>{)}^2=(x_1{y}_1+x_2{y}_2+x_3{y}_3{)}^2$$
是不是一下子就感觉计算变得简单了，所以核函数的选举要考虑到会影响特征状态维度的扩展。