浅谈核方法

说到核方法（kernel method）或者核技巧（kernel trick），了解SVM的人一定不会陌生。当数据集线性不可分时，就要用到非线性分类器。SVM采取的做法是将数据映射到更高的维度，从而将数据集在高维空间转化成线性可分的，然后再用线性SVM去训练一个线性分类器。以上做法的实现方式就是通过核方法隐式地实现的。

从上面可以看出，核方法是隐式地在高维的特征空间来计算向量的内积。但是本文要讲的是核方法的另外一个作用，也就是它的局部性原理（localization）。对于一个目标点，有时候通过拟合全部的样本点来对其做预测会造成预测的偏差，往往在目标点附近的样本点更能反映目标点的真实情况，这里，我们很容易就能想到依靠局部信息（近邻）来进行分类的K-NN。

K-NN及其改进

我们首先来看看K-NN。当K-NN用于分类时，我们需要明确三点，第一，K的取值；第二，距离度量方式；第三，分类决策规则。关于K的选取，对应于模型的选择，我们可以通过交叉验证的方式来获得最优的K值；距离度量一般采取欧氏距离；分类决策规则一般采取的是多数表决。我们可以看出，K-NN算法是一个局部性的算法，它只依靠离目标数据点最近的K个数据点的信息来对目标数据点做出分类预测。当K值过大，模型会欠拟合，因为算法始终会选择训练数据集中样本最多的类别；如果K值过小，那么模型过拟合，因为算法只看到了局部的信息，试想如果数据有噪声，那么模型在这局部就会过拟合。因此，合理的K值选择是模型成功