机器学习之核函数

参考资料

参考视频： 

https://royalsociety.org/science-events-and-lectures/2014/11/milner-lecture/ 英文的

http://www.powercam.cc/slide/6552 建议看这个，中文的 

http://www.powercam.cc/home.php?user=chli&f=slide&v=&fid=4097 ，这里面会讲解kernel 的基本概念, SVM,LDA,LR，PCA等如何使用kernel版本

简单的介绍：

在原空间中比较难进行分类，那么我们可以将他送到一个适当的空间就可以实现分类，比如我们在之前的空间要使用一个非线性的函数才能进行分类，但转换到新的空间之后只需要一个线性函数就可以实现分类。

设x,z∈X,X属于R（n）空间，非线性函数Φ实现输入空间X到特征空间F的映射，其中F属于R（m），n<<m。根据核函数技术有：

                                                                    K(x,z) =<Φ(x)，Φ(z) >                                                                           (1)

其中：<, >为内积，K(x,z)为核函数。从式(1)可以看出，核函数将m维高维空间的内积运算转化为n维低维输入空间的核函数计算，从而巧妙地解决了在高维特征空间中计算的“维数灾难”等问题，从而为在高维特征空间解决复杂的分类或回归问题奠定了理论基础。

利用核函数计算高维度空间的内积

由下面的推导我们可以知道映射函数是我们不重要，我们只需要知道核函数表达式就可以计算出内积：

核函数带来的好处很明显，如果先要映射到高维空间然后进行模型学习，计算量远远大于在低维空间中直接直接采用核函数计算 

但是也有缺点，如果 φ(x) 具有足够高的维数,我们总是有足够的能力来拟合训练集,但是对于测试集的泛化往往不佳。非常通用的特征映射通常只基于局部光滑的原则,并且没有将足够的先验信息进行编码来解决高级问题。

 

 

近期任务：

重新看基于零核空间的行人重识别的论文。（求生欲啊）