机器学习之K近邻算法（KNN）

K近邻算法（KNN）

（最简单易懂的机器学习算法，没有之一）

一、定义

    存在一个样本数据集合，也称作为训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后，将新的数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取与样本最相似数据(最近邻)的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

二、核心思想

        一个新数据与训练样本集中的前k个样本最相似，如果这k个样本中的大多数属于某一个类别，那么新数据也属于这个类别。

三、基础公式

四、一般流程

1. 收集数据：可以使用爬虫进行数据的收集，也可以使用第三方提供的免费或收费的数据。一般，数据放在txt文本文件中，按一定的格式进行存储，便于解析及处理。

2. 准备数据（数据归一化）：使用Python解析、预处理数据。

在处理不同取值范围的特征值时，常采用的方法是将数值归一化，如将取值范围处理为0到1或者-1到1之间。下面的公式可以将任意取值范围的特征值转化为０到１区间内的值：

newValue = (oldValue - min) / (max - min)

3. 分析数据（数据可视化）：可以使用很多方法对数据进行分析，例如使用Matplotlib将数据可视化。

4. 测试算法（验证分类器）：计算错误率。

5. 使用算法（构建完整可用系统）：错误率在可接受范围内，就可以运行k-近邻算法进行分类。