【机器学习】 — 3、KNN算法及其应用

K近邻算法（K-nearest neighbors，KNN ），是一种很基本朴实的机器学习方法。

KNN 在我们日常生活中也有类似的思想应用，比如，我们判断一个人的人品，往往只需要观察他最密切的几个人的人品好坏就能得到结果了。这就是 KNN 的思想应用，KNN 方法既可以做分类，也可以做回归。在本篇内容中，我们来给大家展开讲解 KNN 相关的知识原理。

1、机器学习与分类问题

1）分类问题

分类问题是机器学习非常重要的一个组成部分，属于监督学习，它的目标是根据已知样本的某些特征，判断一个样本属于哪个类别。

分类问题可以细分如下：

• 二分类问题：表示分类任务中有两个类别新的样本属于哪种已知的样本类。

• 多类分类（Multiclass classification）问题：表示分类任务中有多类别。

• 多标签分类（Multilabel classification）问题：给每个样本一系列的目标标签。

2）分类问题的数学抽象

从算法的角度解决一个分类问题，我们的训练数据会被映射成 n 维空间的样本点（这里的 n 就是特征维度），我们需要做的事情是对 n 维样本空间的点进行类别区分，某些点会归属到某个类别。

常见的分类问题应用场景很多，我们选择几个进行举例说明：

• 垃圾邮件识别：可以作为二分类问题，将邮件分为你「垃圾邮件」或者「正常邮件」。

• 图像内容识别：因为图像的内容种类不止一个，图像内容可能是猫、狗、人等等，因此是多类分类问题。

• 文本情感分析：既可以作为二分类问题，将情感分为褒贬两种，还可以作为多类分类问题，将情感种类扩展，比如分为：十分消极、消极、积极、十分积极等。

2、K近邻算法核心思想

在 KNN 分类中，输出是一个分类族群。一个对象的分类是由其邻居的「多数表决」确定的，K 个最近邻居（ K 为正整数，通常较小）中最常见的分类决定了赋予该对象的类别。

• K = 1 ，则该对象的类别直接由最近的一个节点赋予。
• 在 KNN 回归中，输出是该对象的属性值。该值是其 K 个最近邻居的值的平均值。
• KNN 是一种基于实例的学习，或者是局部近似和将所有计算推迟到分类之后的惰性学习。 K 近邻算法是所有的机器学习算法中最简单的之一。

3、K近邻算法步骤与示例

1）K近邻算法工作原理

• 存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每个数据与所属分类的对应关系。

• 输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。

• 一般来说，只选择样本数据集中前 N 个最相似的数据。 K 一般不大于 20 ，最后，选择 K 个中出现次数最多的分类，作为新数据的分类。

2）K近邻算法参数选择

• 如何选择一个最佳的 K 值取决于数据。一般情况下，在分类时较大的 K 值能够减小噪声的影响，但会使类别之间的界限变得模糊。一个较好的 K 值能通过各种启发式技术（见超参数优化）来获取。

• 噪声和非相关性特征的存在，或特征尺度与它们的重要性不一致会使 K 近邻算法的准确性严重降低。对于选取和缩放特征来改善分类已经做了很多研究。一个普遍的做法是利用进化算法优化功能扩展，还有一种较普遍的方法是利用训练样本的互信息进行选择特征。

• 在二元（两类）分类问题中，选取 K 为奇数有助于避免两个分类平票的情形。在此问题下，选取最佳经验 K 值的方法是自助法。

4、K近邻算法的缺点与改进

1）K近邻算法的优缺点

不同类别的样本点，分布在空间的不同区域。K 近邻是基于空间距离较近的样本类别来进行分类，本质上是对于特征空间的划分。

• 优点：精度高、对异常值不敏感、无数据输入假定。
• 缺点：计算复杂度高、空间复杂度高。
• 适用数据范围：数值型和标称型。

2）K近邻算法的核心要素：距离度量准则

K 近邻算法依赖于空间中相近的点做类别判断，判断距离远近的度量标准非常重要。距离的度量标准，对很多算法来说都是核心要素（比如无监督学习的 聚类算法 也很大程度依赖距离度量），也对其结果有很大的影响。

$L_p$ 距离（又称闵可夫斯基距离，Minkowski Distance）不是一种距离，而是一组距离的定义。

• 参数 p = 1 时为曼哈顿距离（又称L1距离或程式区块距离），表示两个点在标准坐标系上的绝对轴距之和。

• 参数 p = 2 时为欧氏距离（又称L2距离或欧几里得度量），是直线距离常见的两点之间或多点之间的距离表示法。

• 参数 p = +∞  时，就是切比雪夫距离（各坐标数值差的最大值）。

3）K近邻算法的核心要素：K的大小

对于 KNN 算法而言， K 的大小取值也至关重要，如果选择较小的 K 值，意味着整体模型变得复杂（模型容易发生过拟合），模型学习的近似误差（approximation error）会减小，但估计误差（estimation error）会增大。

如果选择较大的 K 值，就意味着整体的模型变得简单，减少学习的估计误差，但缺点是学习的近似误差会增大。

在实际的应用中，一般采用一个比较小的 K值。并采用交叉验证的方法，选取一个最优的 K 值。

4）K近邻算法的缺点与改进

（1）缺点

• 原始的 KNN 算法只考虑近邻不同类别的样本数量，而忽略掉了距离。

• 样本库容量依赖性较强对 KNN 算法在实际应用中的限制较大：有不少类别无法提供足够的训练样本，使得 KNN 算法所需要的相对均匀的特征空间条件无法得到满足，使得识别的误差较大。

• K 值的确定： KNN 算法必须指定 K 值，K 值选择不当则分类精度不能保证。

（2）改进方法

加快 KNN 算法的分类速度。

• 浓缩训练样本当训练样本集中样本数量较大时，为了减小计算开销，可以对训练样本集进行编辑处理，即从原始训练样本集中选择最优的参考子集进行 K 近邻寻找，从而减少训练样本的存储量和提高计算效率。

• 加快 K 个最近邻的搜索速度这类方法是通过快速搜索算法，在较短时间内找到待分类样本的 K 个最近邻。

对训练样本库的维护。

• 对训练样本库进行维护以满足 KNN 算法的需要，包括对训练样本库中的样本进行添加或删除，采用适当的办法来保证空间的大小，如符合某种条件的样本可以加入数据库中，同时可以对数据库库中已有符合某种条件的样本进行删除。从而保证训练样本库中的样本提供 KNN 算法所需要的相对均匀的特征空间。