第2章 k-邻近算法(k-Nearest Neighbor,kNN)
本章内容仅讨论分类中的kNN算法,而不关心它在回归中的应用。
2.1 kNN算法概述
简单来说,kNN算法采用测量不同特征值之间的距离进行分类,它是分类数据的一个简单有效的算法。
对上表的补充:
- kNN算法是基于实例的学习,使用算法时我们必须有接近实际数据的训练样本数据。
- 它必须保存整个训练集集,如果训练集很大,则会消耗大量存储空间。由于必须对数据集中的每个数据计算距离值,实际使用时可能非常耗时。(解决方案:k决策树,它是kNN的优化版,可以节省大量的计算开销)
- kNN无法给出任何数据的基础结构信息,因此我们也无法知晓平均实例样本和典型实例样本具有什么特征。
在选择机器学习算法时,我们应考虑到它的优缺点和适用范围。
kNN工作原理:
1. 已有一个训练集
2. 输入一个数据实例(注意,数据实例只有特征值,没有标签)
3. 将该数据实例与训练集中每组数据对应的特征值进行比较,计算距离(distance)
4. 算法提取训练集中特征最相似的数据(即称最邻近)的标签
5. 一般来说,我们只选择训练集中前k个最相似的数据(kNN中k的出处,k通常是不大于20的整数)
6. 选择k个最相似数据中出现次数最多的标签,作为输入的数据实例的标签
从上述工作原理我们可以总结出:
- kNN算法的输入为向量化的数据实例,即特征向量,对应于特征空间的点
- kNN算法的输出为标签,可以取多个标签
- kNN算法的运作,只是简单的将输入的特征向量与训练集中每一组数据简单的“求距离”,然后通过多数表决的方式得到输出,不存在显式的学习过程(训练过程)
- k 近邻算法实际上利用训练数据集对特征向量空间进行划分,并作为其分类的“模型”。 k值的选择、距离度量以及分类决策规则(即定义何为相似)是k近邻算法的三个基本要素。
接下来我们通过书中的电影分类的小例子来更直观的了解kNN算法的运作,并总结出kNN算法的规范流程。
该例子使用kNN算法分类爱情片和动作片,训练集中每个数据样本含有电影名称、打斗镜头和接吻镜头三个特征值,以及一个电影类型的标签。
我们要解决的问题就是确定输入的电影是哪种类型。
首先计算未知电影与训练集中其他电影的距离(具体计算这里略去)。
假定k=3,通过多数表决,我们就可以确定输入的电影的类型是爱情片。
kNN算法的一般流程
1.收集数据:可以使用任何方法
2.准备数据:计算距离时所需要的数值,最好是结构化的数据格式
3.分析数据:可以使用任何方法
4.训练算法:上述总结工作原理时分析得出kNN算法不需要显式训练
5.测试算法:计算错误率
6.使用算法:略
2.2 示例:使用kNN改进约会网站的配对效果
场景简述:海伦一直使用世纪佳缘寻找适合自己的约会对象,经过一番总结,她发现曾交往过三种类型的人:
- 不喜欢
- 魅力一般
- 极具魅力
此外,海伦还收集了一些她认为有助于分类的数据信息。海伦希望我们的分类软件可以帮助她将对象划分到正确的分类中。
示例:在约会网站上使用kNN算法
1.收集数据:提供文本文件
2.准备数据:使用Python解析文本文件
3.分析数据:使用Matplotlib画二维扩散图
4.训练算法:kNN不需要显式训练
5.测试算法:使用海伦提供的部分数据作为测试样本
6.使用算法:产生简单的命令行程序,然后输入一些特征数据以判断对方是否为自己喜欢的类型
2.2.1 准备数据
提供文本文件datingTestSet2.txt,每个数据样本(3种特征,1个标签)占据一行,共1000行。格式如下:
Col1 | Col2 | Col3 | Col4 |
---|---|---|---|
40492 | 8.326976 | 0.953952 | 3 |
14488 | 7.153469 | 1.673904 | 2 |
26052 | 1.441871 | 0.805124 | 1 |
在将这些数据输入到分类器之前,我们还需要将待处理的数据的格式转变为分类器可以接受的格式,即将文本记录转换为NumPy
def file2matrix(