《机器学习实战》2.K-近邻算法分析与源码实现（文末附官方勘误表）

结合源码分析第二章中实现的Demo
本人安装的是Anaconda，程序在Jupyter Notebook上运行的。
第一次实战，注解比较多。另外我将一些函数做了总结与对比，见我的这篇文章

---

前言

k近邻是一种基本分类与回归方法。k近邻法的输入为实例的特征向量，对应于特征空间的点，输出为实例的类别，可以取多类。k近邻法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其K个最近邻的训练实例的类别，通过多数表决等方式进行预测。因此，k近邻不具有显示的学习过程（训练时间开销为0）。k值的选择，距离度量及分类决策规则是k近邻法的三个基本要素。
优点：精度高，对异常值不敏感，无数据输入假定
缺点：计算复杂度高，空间复杂度高
适用数据范围：数值型和标称型

---

1.k近邻算法的一般流程

1. 收集数据
2. 准备数据：距离计算所需要的数值（最好是结构化的数据格式）<从文本中解析数据，归一化数值>
3. 分析数据：可以使用任何方法（不局限于Matplotlib画二维散点图等）
4. 训练算法：此步骤不适合KNN
5. 测试算法：计算错误率<数据集=训练集+测试集>
6. 使用算法：产生简单的命令行程序，然后每轮输入一些特征数据以判断对方是否为自己喜欢的类型。

---

2.1.1 准备：使用Python导入数据

输入：

import numpy as np    
from numpy import *
def createDataSet():
    group = np.array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels=['A','A','B','B']
    return group,labels

group,labels=createDataSet()
group

输出：

array([[ 1. ,  1.1],
       [ 1. ,  1. ],
       [ 0. ,  0. ],
       [ 0. ,  0.1]])

输入

labels

输出：

['A', 'A', 'B', 'B']

2.1.2 实施KNN算法

#语法：numpy.argsort(a, axis=-1, kind='quicksort', order=None)
#功能：将a中的元素从小到大排列，最后返回其所对应的索引。
#     示例：
#         import numpy as np
#         a=np.array([1,4,3,-1,6,9])
#         a.argsort()
#     输出结果：
#         array([3, 0, 2, 1, 4, 5], dtype=int64)

#         很多函数根据axis的取值不同，得到的结果也完全不同
#         总结为一句话：设axis=i，则numpy沿着第i个下标变化的方向进行操作。     

#      输入为四个参数
#      用于输入向量是inX，输入的训练样本集为dataSet，标签向量为labels，k
#         表示用于选择最近邻居的数目。
#     注意：labels元素数目和矩阵dataSet的行数相同
#     程序使用欧式距离公式。此外，还有Lp距离或Minkowski距离

def classify0(inX, dataSet, labels, k):
    #1.距离计算
    dataSetSize = dataSet.shape[0] #获取训练样本数据集的个数
    #print('dataSetSize（训练样本数据集的个数）:',dataSetSize)
    diffMat = tile(inX,(dataSetSize,1)) - dataSet #具体这一步的操作就是生成和训练样本对应的矩阵，并与训练样本求差
    #语法：numpy.tile(A,reps)
    #tile:列—dataSetSize表示复制的行数 行—1表示对inX的重复的次数
    #print((inX,(dataSetSize,1)))
    #print('tile的功能(将inX复制了dataSetSize行)：')
    #print(tile(inX,(dataSetSize,1)))

    sqDiffMat = diffMat**2  #求平方
    sqDistances = sqDiffMat.sum(axis=1)  #对平方后的矩阵每一行进行相加
    distance=sqDistances**0.5