k近邻算法（KNN）

方法：$k$近邻法
适用问题：多类分类，回归
模型特点：特征空间，样本点
模型类型：判别模型

一、介绍

$k$近邻法是一种基本分类与回归方法。思想是给定一个训练数据集，其中样本类别给定，分类时，对新的样本，根据其$k$个最近邻的训练实例的类别，通过多数表决等方式进行预测。

引用百度来的一张图，直观理解下k近邻算法：

目标是判断中心绿色点的类别，当$k=3$时，所形成的圆内红色三角形数量最多，则目标为红色类，当$k=5$时，所形成的圆内蓝色正方形最多，则目标为蓝色类，这就是$k$近邻算法。

$k$近邻的三要素是：$k$值得选择、距离度量及分类决策规则。

本文介绍$k$近邻算法，三要素及代码实现，kd树和搜索kd树的算法将在另一片博文中介绍。

二、k近邻算法

算法：

输入：训练数据集

$$T = {(x_1,y_1) , (x_2,y_2),\cdots ,(x_N,y_N)}$$
其中， $x_i$为实例的特征向量， $y_i$为实例的类别， $i=1,2, \cdots ,N.$

输出：实例$x$所属的类$y.$

算法步骤：

1. 根据给定的距离度量，在训练集$T$中找出与$x$最邻近的$k$个点，涵盖着$k$个点的$x$的邻域记作$N_k(x)$;

2. 在$N_k(x)$中根据分类规则（如多数表决）决定$x$的类别$y$：
   

   $$y=arg\mathop{max}\limits_{c_i} \sum_{x_i\in{N_k(x)}}I(y_i=c_j) ,i=1,2,\cdots ,N;j=1,2,\cdots ,k.$$

   $I$为指示函数，即当$Y_i=c_i$时，$I=1$，否则为0. 当$k=1$时，称为最近邻算法。

三、k近邻的三要素

下面我们介绍k近邻法的三个基本要素：距离度量、k值的选择和分类决策规则的确定。

3.1 距离度量

特征空间中两个实例点的距离是两个实例点相似程度的反映，一般使用的是欧氏距离，也可以使其他距离，如$L_P$距离和Minkowski距离。
下面是每个距离的定义：

设特征空间$\mathcal{X}$是$n$维实数向量空间$R^n,$ $x_i$,$x_j\in\mathcal{X},$ $x_i=({x_i}^{(1)},{x_i}^{(2)},\cdots ,{x_i}^{(n)})^T$,$x_j=({x_j}^{(1)},{x_j}^{(2)},\cdots ,{x_j}^{(n)})^T,$ $x_i,x_j$的$L_p$距离为：

$$L_p(x_i,x_j)=(\sum_{i=1}^n\lvert{x_i}^{(l)}-{x_j}^{(l)}\rvert^p)^{\frac1p}$$

这里$p\geq1$.当$p=2$时，称为欧氏距离，即

$$L_2(x_i,x_j)=(\sum_{i=1}^n\lvert{x_i}^{(l)}-{x_j}^{(l)}\rvert^2)^{\frac12}$$

当$p=1$时 ，称为曼哈顿距离，即

$$L_1(x_i,x_j)=\sum_{i=1}^n\lvert{x_i}^{(l)}-{x_j}^{(l)}\rvert$$

当$p=\infty$时，取各个坐标距离的最大值，即

$$L_\infty(x_i,x_j)=\mathop{max}\limits_{l}\lvert{x_i}^{(l)}-{x_j}^{(l)}\rvert$$

3.2 $k$值的选择

k值的选择会对结果产生直接的影响。

如果选择较小的k值，就相当于用较小的邻域中的训练实例进行预测，近似误差会减小，只有输入实例较近的训练实例才会对预测结果起作用，但确定是估计误差会增大，因为预测结果会对邻近的实例点非常敏感，如果邻近的实例点恰巧是噪声，预测结果就会出错。$k$值的减小意味着模型变得复杂，容易产生过拟合（这句话可以理解为$k$增大，邻域边界相对更平滑，$k$减小，邻域边界更弯曲，更参差不平，更复杂，可以画图帮助理解）。

如果选择较大的k值，就相当于用较大邻域中的训练实例进行预测，其优点是可以减少学习的估计误差，缺点是学习的近似误差会增大，这时与输入实例较远的训练实例也会起预测作用，使预测发生错误，$k$值的增大就意味着整体的模型变得简单。

当$k=N$是，无论输入什么，都将简单预测为最多实例点的类，是不可取得。

在应用中，$k$值一般去一个比较小的数值，采用交叉验证选取最优$k$值。

3.3 分类决策规则

$k$近邻法中的分类决策规则一般采用多数表决，即由输入实例的$k$个邻近的训练实例中的多数类决定。

多数表决规则等价于经验风险最小化，解释如下：如果分类的损失函数为0-1损失函数，分类函数为

$$f:R^n\to \{c_1,c_2,\cdots,c_K\}$$
那么误分类的概率是
$$P(Y\ne f(X))=1-P(Y= f(X))$$
对于给定实例 $x$，其最近邻的$k$个训练实例点构成的集合 $N_k(x)$.如果涵盖 $N_k(x)$的区域的类别是 $c_j$,那么误分类率是
$${\frac1k}\sum_{x_i\in{N_k(x)}}I(y_i\ne c_j)=1-{\frac1k}\sum_{x_i\in{N_k(x)}}I(y_i = c_j)$$
要使误分类率最小即经验风险最小，就要使 $\mathop{\sum}\limits_{{x_i\in{N_k(x)}}}I(y_i = c_j)$最大，所以多数表决规则等价于经验风险最小化。

四、模型的优缺点

KNN算法不仅可以用于分类，还可以用于回归。通过找出一个样本的k个最近邻居，将这些邻居的属性的平均值赋给该样本，就可以得到该样本的属性。更有用的方法是将不同距离的邻居对该样本产生的影响给予不同的权值，如权值与距离成反比。

优点：

1.简单，易于理解，易于实现，无需估计参数，无需训练；
2. 适合对稀有事件进行分类；
3.特别适合于多分类问题(multi-modal,对象具有多个类别标签)， kNN比SVM的表现要好。

缺点：

1.该算法在分类时有个主要的不足是，当样本不平衡时，如一个类的样本容量很大，而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本的$k$个邻居中大容量类的样本占多数。 该算法只计算“最近的”邻居样本，某一类的样本数量很大，那么或者这类样本并不接近目标样本，或者这类样本很靠近目标样本。无论怎样，数量并不能影响运行结果。

2.该方法的另一个不足之处是计算量较大，因为对每一个待分类的文本都要计算它到全体已知样本的距离，才能求得它的$k$个最近邻点。

3.可理解性差，无法给出像决策树那样的规。

五、代码实现

sklearn有现有的包可以调用，具体如下：

>>> X = [[0], [1], [2], [3]]
>>> y = [0, 0, 1, 1]
>>> from sklearn.neighbors import KNeighborsClassifier
>>> neigh = KNeighborsClassifier(n_neighbors=3)
>>> neigh.fit(X, y) 
KNeighborsClassifier(...)
>>> print(neigh.predict([[1.1]]))
[0]
>>> print(neigh.predict_proba([[0.9]]))
[[ 0.66666667  0.33333333]]

kd树和kd树的最近邻搜索将单独作为一篇文章介绍。