SVM中的Kernel技术

对于SVM的基础知识，可以参考这篇博客《支持向量机SVM学习笔记》，本博客主要讨论SVM中kernel的使用。

SVM中原始问题和对偶问题的定义

其中N为训练样本点的个数，d为特征向量x的维度。对于原始问题需要学习d个参数，对于对偶问题需要学习N个参数。如果N << d，那么相比w更容易求解α。在对偶问题中，需要训练样本点x_i，其中大多数α_i为0，那些非零的α_i定义了支持向量x_i。

对于线性不可分的样本点，将其映射到更高维的空间上。下图中数据在3D空间中线性可分，那么这个问题就可以用线性的分类器解决。

在转换特征空间中的SVM

在转换特征空间中的原始分类器，在高维空间(D维)中解决w。如果D >> d，那么对于w，更多的参数需要去学习。如何避免？

在转换特征空间中的对偶分类器，Ф(x) 只成对出现在Ф(x_j)^T Ф(x_i)，一旦这个标量乘积完成之后，那么只需要学习N维的向量α。