统计学习方法之kNN算法

统计学习方法读书笔记之kNN算法

k 近邻是什么

k 近邻法是机器学习中最基本的分类和回归方法，也称为kNN算法。通常k近邻法用于分类问题。
k近邻法假定给定一个训练数据集，其中实例类别已定。分类时，对新的实例，根据其K个最近邻的训练实例类别，一般通过多数表决的方式来进行预测。

例如，有两堆水果，一堆是橙子，一堆是柚子，新拿到一个水果，判断是橙子还是柚子。一般来说，柚子更大更红。那么判断和该水果最相近的 3 个水果是什么，比如 3 个最近的邻居是柚子，那么我们可以判断新拿到的水果是柚子，这就是 kNN 算法。

k近邻算法

k近邻算法简单，直观有效。
输入：给定一个训练数据集$T={(x_1, y_1), (x_2, y_2), ..., (x_n, y_n)}$, 其中$x_i$为实例的特征向量，$y_i$为实例的类别。
输出：实例x所属的类y。

1. 根据给定的距离度量， 在训练集T中寻找与x最近邻的k个点，涵盖这k个点的x的邻域记作$N_k(x)$
2. 在$N_k(x)$中根据分类决策规则(如多数表决)决定x的类别y：
   y = $argmax\sum\limits_{x_i\in N_k(x)}I(y_i=c_j), i=1,2,...,N; j=1,2,...,K$
   (其中I为指示函数，当$y_i = c_j$时I为1，否则I为0)

特别的，当k=1时，称为最近邻算法。注意，k近邻法没有显示的学习过程。

K近邻模型

k近邻模型对应于特征空间的划分。模型由3个基本要素构成:
* K值选择
* 距离度量
* 分类决策规则

当 训练集，距离度量，k值以及分类决策规则确定后，对于新输入的任何一个实例，它所属的类别唯一的确定。

距离度量

特征空间中的两个实例点是两个实例点相似程度的反映.k近邻模型的特征空间一般是n维的实数向量空间。

当p=2时，则是欧式距离。即:

当p=1时，则为曼哈顿距离

当p=∞时，则是各个坐标距离的最大值。

k值选择

k值的选择会对k近邻的结果产生重大影响。
如果选择较小的k值，则学习的近似误差减小，估计误差增大，预测结果会对近邻的实例点非常敏感。如果近邻点的实例点是噪声点，则预测会出错。因此，较小的k值意味着整体模型会变得复杂，容易过拟合。
如果选择较大的k值，则学习的近似误差增大，估计误差减小。预测结果也会受到与输入实例较远的实例点的影响，造成预测错误。因此，较大的k值意味着整体模型变得简单，容易欠拟合。

在应用中，一般k值选用一个比较小的数值，通常采用交叉验证法来选取最优值。

分类决策规则

k近邻法中的分类决策规则往往是多数表决，即由输入实例的 k 个邻近的训练实例的多数类决定输入实例的类别。

多数表决规则解释如下: 如果分类损失函数为 0-1 损失函数，分类函数为：

那么误分类的概率是:

对给定的实例 x 属于特征向量集，最近邻的 k 个训练实例点构成集合$N_k(x)$. 如何涵盖$N_k(x)$的区域的类别是$c_j$，那么误分类是:

要使误分类率最小即经验风险最小， 就要使 ∑I(yi=cj)最大，所以多数表决规则等价于经验风险最小化

kd树

kd树是一种对k维空间中实例点进行存储以便对其进行快速检索的树形数据结构。kd树是二叉树，表示对k维空间的一个划分。构造kd树相当于不断地用垂直于坐标轴的超平面将k维空间切分，构成一系列的k维超矩形区域。kd树的每个结点对应于一个k维超矩形区域。

搜索 kd 树

kd 树的最近邻搜索算法:
输入:已构造 kd 树；目标点 x
输出: x 的最近邻
1.在 kd 树种找到含目标点 x 的叶结点: 从根节点处罚，递归地向下访问 kd 树。若目标点 x 当前维的坐标小于切分店的坐标，移动到左子结点，否则移动到右子节点，直到子节点为叶节点为止。
2.以此叶结点为”当前最近点”
3.递归地向上回退，在每个节点如下操作:
- 如果该结点保存的实例点比当前最近点距离目标点更近，则以该实例点为”当前最近点”
- 检查该子节点的父节点对应的另一子节点对应的区域是否有更近的点。
4.当回退到根节点时，搜索结束。最后的”当前最近点”即为 x 的最近邻点

一般，实例点是随机分布的，kd 树搜索的平均计算复杂度是 O(logN). kd 树更适应于训练实例数远大于空间维数时的 k 近邻搜索。

未完待续

下一篇文章会用 kNN 分类器来实现一个推荐系统引擎系统，敬请期待。

如果你喜欢我的文章，欢迎扫码关注公众号:「机器学习Club」