Kernel Method

附上李政轩老师课程的地址：https://www.camdemy.com/media/1557

1、几何图形上理解核方法（Kernel method）

1.1特征映射（feature mappingφ）

网上查找的资料都只是说，将低维度的非线性的数据通过某种映射关系映射到高纬度上，再进行线性切割。什么是线性切割，怎样从低纬度映射到高纬度不得而知。从几何上往往能更加直观的理解KERNEL FUNCTION的原理，如下图：

左图中，两类数据（O和X ）散列的分布在二维图形中，没有一条直线能够直接区分它们（即没有线性关系），只有近似于椭圆的曲线才能区分它们（非线性的关系）。想要线性切割这些数据，其中的一个办法就是将数据映射到高维空间（具体的维度由数据本身而定），映射关系φ（非线性的函数）图中已给出。我们会发现高维特征空间会有一个平面可以线性切割这些数据，这个平面是由原二维图形推到出来。函数推到如下：
椭圆方程 平面方程X12/a2 + X22/b2 = 1 (1/a2)·Z1+0·Z2+(1/b2)·Z3 = 1

1.2内积计算

特征空间的内积计算（Inner Product in Feature Space）：
<φ(x1,x2),φ(x´1, x´2)> = <(z1,z2,z3), (z´1,z´2,z´3)>
= <(x12, √2x1x2,x22),( x1´2, √2x´1x´2,x´22)> = x12 x1´2 +2 x1x2 x´1x´2 + x22 x´22
=(<x,x´>)2= k(x,x´)

特征空间的距离计算(Distance in the Feature Space)：
||φ(x)-φ(x´)||2 = (φ(x)-φ(x´))T(φ(x)-φ(x´)) = φ(x)Tφ(x) - 2φ(x)Tφ(x´) + φ(x´)Tφ(x´)
= <φ(x),φ(x)> - 2 <φ(x),φ(x´)> + <φ(x´),φ(x´)>=k(x,x) – 2k(x,x´) + k(x´,x´)

特征空间的角度计算(Angle in the Feature Space)：
<φ(x),φ(x´)> = ||φ(x)||·||φ(x´)||cosθ
推出： cosθ=( <φ(x),φ(x´)>)/(||φ(x)||·|(|φ(x´)|)| ) =( <φ(x),φ(x´)>)/(√(<φ(x),φ(x)>·) √(<φ(x´),φ(x´)>)) = ( k(x´,x))/(√(k(x,x)·) √(k(x´,x´)·))
从上我们发现，（x1x1，+ x2x2，）为低维度的内积，即求出原空间的内积，也就可以求出特征空间（高维度的空间）的内积。由此可以得出结论，我们并不需要知道Feature Mapping 是啥样子的，只要知道Kernel Function就可以推出内积。