[学习笔记]机器学习实战（二）

第2章 k-邻近算法(k-Nearest Neighbor,kNN)

本章内容仅讨论分类中的kNN算法，而不关心它在回归中的应用。

---

2.1 kNN算法概述

简单来说，kNN算法采用测量不同特征值之间的距离进行分类，它是分类数据的一个简单有效的算法。

对上表的补充：
- kNN算法是基于实例的学习，使用算法时我们必须有接近实际数据的训练样本数据。
- 它必须保存整个训练集集，如果训练集很大，则会消耗大量存储空间。由于必须对数据集中的每个数据计算距离值，实际使用时可能非常耗时。（解决方案：k决策树，它是kNN的优化版，可以节省大量的计算开销）
- kNN无法给出任何数据的基础结构信息，因此我们也无法知晓平均实例样本和典型实例样本具有什么特征。
在选择机器学习算法时，我们应考虑到它的优缺点和适用范围。

kNN工作原理：
1. 已有一个训练集
2. 输入一个数据实例（注意，数据实例只有特征值，没有标签）
3. 将该数据实例与训练集中每组数据对应的特征值进行比较，计算距离(distance)
4. 算法提取训练集中特征最相似的数据（即称最邻近）的标签
5. 一般来说，我们只选择训练集中前k个最相似的数据（kNN中k的出处，k通常是不大于20的整数）
6. 选择k个最相似数据中出现次数最多的标签，作为输入的数据实例的标签

从上述工作原理我们可以总结出：
- kNN算法的输入为向量化的数据实例，即特征向量，对应于特征空间的点
- kNN算法的输出为标签，可以取多个标签
- kNN算法的运作，只是简单的将输入的特征向量与训练集中每一组数据简单的“求距离”，然后通过多数表决的方式得到输出，不存在显式的学习过程（训练过程）
- k 近邻算法实际上利用训练数据集对特征向量空间进行划分，并作为其分类的“模型”。 k值的选择、距离度量以及分类决策规则（即定义何为相似）是k近邻算法的三个基本要素。

接下来我们通过书中的电影分类的小例子来更直观的了解kNN算法的运作，并总结出kNN算法的规范流程。
该例子使用kNN算法分类爱情片和动作片，训练集中每个数据样本含有电影名称、打斗镜头和接吻镜头三个特征值，以及一个电影类型的标签。

我们要解决的问题就是确定输入的电影是哪种类型。
首先计算未知电影与训练集中其他电影的距离（具体计算这里略去）。

假定k=3，通过多数表决，我们就可以确定输入的电影的类型是爱情片。

kNN算法的一般流程
1.收集数据：可以使用任何方法
2.准备数据：计算距离时所需要的数值，最好是结构化的数据格式
3.分析数据：可以使用任何方法
4.训练算法：上述总结工作原理时分析得出kNN算法不需要显式训练
5.测试算法：计算错误率
6.使用算法：略

---

2.2 示例：使用kNN改进约会网站的配对效果

场景简述：海伦一直使用世纪佳缘寻找适合自己的约会对象，经过一番总结，她发现曾交往过三种类型的人：
- 不喜欢
- 魅力一般
- 极具魅力
此外，海伦还收集了一些她认为有助于分类的数据信息。海伦希望我们的分类软件可以帮助她将对象划分到正确的分类中。

示例：在约会网站上使用kNN算法
1.收集数据：提供文本文件
2.准备数据：使用Python解析文本文件
3.分析数据：使用Matplotlib画二维扩散图
4.训练算法：kNN不需要显式训练
5.测试算法：使用海伦提供的部分数据作为测试样本
6.使用算法：产生简单的命令行程序，然后输入一些特征数据以判断对方是否为自己喜欢的类型

---

2.2.1 准备数据

提供文本文件datingTestSet2.txt，每个数据样本（3种特征，1个标签）占据一行，共1000行。格式如下：

Col1	Col2	Col3	Col4
40492	8.326976	0.953952	3
14488	7.153469	1.673904	2
26052	1.441871	0.805124	1

在将这些数据输入到分类器之前，我们还需要将待处理的数据的格式转变为分类器可以接受的格式，即将文本记录转换为NumPy

def file2matrix(