机器学习实战-K近邻源码

机器学习实战-K近邻源码

一、k近邻算法的一般流程
1.收集数据
2.准备数据：距离计算所需要的数值（最好是结构化的数据格式）<从文本中解析数据，归一化数值>
3.分析数据：可以使用任何方法（不局限于Matplotlib画二维散点图等）
4.训练算法：此步骤不适合KNN
5.测试算法：计算错误率<数据集=训练集+测试集>
6.使用算法：产生简单的命令行程序，然后每轮输入一些特征数据以判断对方是否为自己喜欢的类型。

numpy.argsort(a, axis=-1, kind=’quicksort’, order=None)
功能: 将矩阵a按照axis排序，并返回排序后的下标
参数: a:输入矩阵， axis:需要排序的维度
返回值: 输出排序后的下标

>>> x = np.array([3, 1, 2])
>>> np.argsort(x)
array([1, 2, 0])
>>> x = np.array([[1, 5, 7], [3, 2, 4]]) 
>>> np.argsort(x, axis=0) array([[0, 1, 1], [1, 0, 0]]) #沿着行向下(每列)的元素进行排序
 >>> np.argsort(x, axis=1) array([[0, 1, 2], [1, 0, 2]]) #沿着列向右(每行)的元素进行

以上内容来自于> https://docs.scipy.org/doc/numpy/reference/generated/numpy.argsort.html

diffMat = tile(inX,(dataSetSize,1)) - dataSet
#具体这一步的操作就是生成和训练样本对应的矩阵，并与训练样本求差
#语法：numpy.tile(A,reps)
#tile:列：dataSetSize表示复制的行数 行：1表示对inX的重复的次数

#语法：dict.get(key, default=None)
#key --字典中要查找的值；default --如果指定键的值不存在时，返回该默认值值。（默认为None）

#排序并返回出现最多的那个类型
#语法：dict.items()
功能：以列表返回可遍历的（键，值）元组数组
#例如： dict = {‘Name’: ‘zhangzhiming’, ‘Age’: 23} print(‘value: %s’ % dict.items()) #输出：value: dict_items([(‘Name’, ‘zhangzhiming’), (‘Age’, 23)])

operator.itemgetter函数
operator模块提供的itemgetter函数用于获取对象的哪些维的数据，参数为一些序号（即需要获取的数据在对象中的序号），下面看例子。

a = [1,2,3]

b=operator.itemgetter(1) //定义函数b，获取对象的第1个域的值
b(a)
2>
b=operator.itemgetter(1,0) //定义函数b，获取对象的第1个域和第0个的值
b(a)
(2, 1)

要注意，operator.itemgetter函数获取的不是值，而是定义了一个函数，通过该函数作用到对象上才能获取值。
原文链接：https://blog.csdn.net/hellozpc/article/details/48213131

语法：sorted(iterable,*,key=None,reverse=False)
#key按第一个域进行排序，默认False为升序排序。 True为逆序,即按照频率从大到小次序排序。
#sort 是应用在 list 上的方法，sorted 可以对所有可迭代的对象进行排序操作。
#sort是在原有基础上排序，sorted 排序是产生一个新的列表。

实施KNN算法
对未知类别属性的数据中的每个点依次执行以下操作
（1）计算已知类别数据集中的点与当前点之间的距离
（2）按照距离递增次序排序
（3）选取与当前点距离最小的看k个点
（4）确定前k个点所在类别的出现频率
（5）返回前k个点出现频率最高的类别作为当前点的预测分类

    实施KNN分类算法
    from numpy import *
    import operator
    import numpy as np
    #使用Python导入数据
    def creatdataset():
        group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
        labels = ['A','A','B','B']
        return group,labels
    #实施KNN算法
    #  输入为四个参数
    # 用于输入向量是inX，输入的训练样本集为dataSet，标签向量为labels，k 表示用于选择最近邻居的数目。
    #  注意：labels元素数目和矩阵dataSet的行数相同
    #   程序使用欧式距离公式。此外，还有Lp距离或Minkowski距离
    
    def classify0(inX,dataSet,labes,k):
        # 1.距离计算
        dataSetSize = dataSet.shape[0]
        #different amount 差异总额,经常简写为diff
        #matrix[数]矩阵，模型
        #diff在matlab中什么意思>>diff为差分函数例如x=[1 2 2 3 9 4 2]diff(x)=[1 0 1 6 -5 -2].前后位做差。具体用法help diff
        # print((inX, (dataSetSize, 1)))
        diffMat = np.tile(inX,(dataSetSize,1))-dataSet
        # print(diffMat)
        sqDiffMat = diffMat**2 #求平方
        sqDistances = sqDiffMat.sum(axis=1) #axis=1是把矩阵的每一行相加。对平方后的矩阵每一行进行相加
        distances = sqDistances**0.5 #开方
        sortedDistIndicies = distances.argsort()#距离从小到大（从近到远）的排列，并返回其所对应的索引
    
        #2.选择距离最小的k个点
        classCount = {}#定义一个字典
        for i in range(k):
            voteIlabel = labes[sortedDistIndicies[i]]#找到对应样本的类型
            #计算每个标签类别的个数
            classCount[voteIlabel]= classCount.get(voteIlabel,0)+1
    
        #3.排序并返回出现最多的那个类型
        sortedClassCount = sorted(classCount.items(),key = operator.itemgetter(1),reverse=True)
        return sortedClassCount[0][0]