<机器学习实战 >KNN算法 改进约会网站的配对效果

K-近邻算法
优点：精度高，对异常值不敏感，无数据输入假定
缺点：计算复杂度搞，空间复杂度高
适用范围：数值型和标称型
工作原理：存在一个样本数据集合（训练样本集），并且样本集中每个数据都有标签，即我们知道样本集中每以数据与所属分类的对应关系。
输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最为相似数据（最近邻）
的分类标签。一般选择样本数据集中前K个最近似的数据，K <= 20。最后选择k个最相似数据中出现次数最多的分类。作为数据的分类。
K-近邻算法的一般流程：
(1):收集数据
(2):准备数据，距离计算所需要的数值，结构化的数据格式
(3):分析数据
(4):训练算法，此步骤不适用于K-近邻算法
(5):测试算法:计算错误率
(6):使用算法:首先需要输入样本数据和结构化数据的输出结果，然后运行K-近邻算法判定输入数据分别属于哪类，最后应用对计算出的分类
执行后续处理。

实施KNN分类算法
对未知类别墅型的数据集中的每个点一次执行以下操作：
1：计算一直类别数据集中的点与当前点之间的距离；
2：按照距离递增次序进行排序；
3：选取当前点距离最小的k个点；
4：确定前k个点所在类别的出现频率；
5：返回前k个点出现频率最高的类别作为当前点的预测分类；

实施kNN分类算法（造分类器）
伪代码：

1. 计算已知类别数据集中的每个点一次执行以下操作；
2. 按照距离递增次序排序；
3. 选取与当前点距离最小的k个点；
4. 确定前k个点所在类别的出现频率；
5. 返回前k个点出现频率最高的类别作为当前点的预测分类；

分类器代码
创建一个knn.py文件，将分类器代码添加到knn.py中

#简单的创造一个数据集，用来测试分类器
def createDataSet():
    #创建一个二维numpy矩阵
    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    #为每一行数据添加标签
    labels = ['A','A','B','B']
    #返回特征值和标签
    return group,labels


#构造分类器
#四个参数分别为  用于分类的输入向量inX，输入的训练样本集，标签向量labels（目标向量），以及最近邻居的数目k
def classify(inX,dataSet,labels,k):
    #求出行数
    dataSetSize = dataSet.shape[0]
    #print('行数为：',dataSetSize)

    #将inX数组重复n次，将相对距离x和y求出来(即将所求坐标同已知训练集坐标相减，求出相对距离，得到四个坐标向量值)
    diffMat = tile(inX,(dataSetSize,1)) - dataSet
    #print("得到的相对距离值:\n",diffMat)

    #平方, 进行的是欧式距离公式第二步，
    sqDiffMat = diffMat**2
    #print("欧式距离公式第二步，将每个相对距离平方：\n",sqDiffMat)

    #axis = 1代表行向量相加， 0代表普通的求和 ，，进行的是欧式距离第三步，将平方后的相对距离相加
    sqDistances = sqDiffMat.sum(axis = 1)

    #开方，计算两个向量点xA和xB之间的距离 ，欧式距离公式的最终一部，开方，求出两个向量点的距离
    distances = sqDistances**0.5
    #print("欧式距离公式最终步，所求坐标与已知数据集中坐标的距离大小：\n",distances)

    #排序，返回从小到大排序后数组中每个元素在排序前的下标
    sortedDistIndicies = distances.argsort()