统计学习方法 第三章 K近邻法

k近邻的实现过程：
1.计算已知类别数据集中的每个点与当前点之间的距离
2.按照距离递增次序排序
3.选取与当前距离最小的k个点
4.确定前k个点所在的类别的出现频率
5.返回前k个点出现频率最高的类别作为当前点的预测分类

参考《机器学习实战》里的第二章，先做出原始形式的knn代码：

import numpy as np
import operator

#欧氏距离计算
def dist_euclid(in_x,data_mat):
    m = np.shape(data_mat)[0]
    #tile表示按行或列复制填充
    diff_mat = np.tile(in_x,(m,1)) - data_mat
    dist = np.sqrt(np.square(diff_mat).sum(axis = 1))
    return dist

def knn(in_x,data_mat,label_mat,k,dist = dist_euclid):
    dist = dist(in_x,data_mat)
    #递增排序，得出对应距离值的原先位置
    #argsort方法只能对单行起作用，单列不起作用
    dist_index = np.array(np.argsort(dist.T)).tolist()[0]
    class_count = {}
    for i in range(k):
        class_label = np.array(label_mat[dist_index[i]]).tolist()[0][0]
        #字典的get方法，有则获取键值，无则初始值为0
        class_count[class_label] = class_count.get(class_label,0) + 1
    #itemgetter方法表示按照第几个域排序，reverse True表示降序
    sorted_class_count =  sorted(class_count.items(),key = operator.itemgetter(1),reverse = True)
    return sorted_class_count[0][0]

令data_mat = np.mat([[2,2],[0,0],[1,0],[0,1],[1,2]])，label_mat = np.mat([-1,1,1,1,-1]).T，测试点in_x = np.array([1,1])，结果返回值为1，正确。