【ML学习笔记】12：k-近邻算法的demo

k-近邻算法(KNN)是一种有监督学习的分类算法，属于非概率分类器。

其基本思路就是，实例的每一个特征都可以赋予一个值去度量，如果有n个特征，那么也就是相当于实例在n维空间中(n个方向各自不同，显然这种假定是建立在认为这些特征互不相关的基础上的)。

而k-近邻算法也就是，把这个投入到学习机器去做预测的实例的特征向量，认定是表达了n维空间上的一个点，这个空间不见得是欧式空间，然后去寻找训练集中k个和这个点距离最近(这个距离自然是定义在这个空间上的距离)的点对应的实例，去看这些实例对应的标签，出现频数最多的那个标签就成为kNN算法预测的标签。

下面这个demo是跟着书上做的，加了一些可视化的成分，有很多细节值得注意，算是回顾了python的小部分语法。

这是一个后缀名为.py的模块，写好以后，在命令行进入到这个模块文件所在的目录，然后再进入python回显界面去使用它！

#-*-coding:utf-8-*-
from numpy import * #科学计算包
import operator     #运算符模块
from matplotlib import pyplot as plt
#上一行的末尾不能打注释!

#创建训练集和标签
def createDataSet():
    #训练集的特征
    group=array(
        [[1.0,1.1],[1.0,1.0],[0.1,0],[0,0.1],
        [0.9,1.0],[1.0,0.7],[0.2,0],[0.1,0.1],
        [1.1,1.0],[0.8,1.1],[0.1,0.4],[0.3,0.2]])
    #对应的标签
    labels=['A','A','B','B',
        'A','A','B','B',
        'A','A','B','B']
    return group,labels

#k-近邻算法(输入的特征向量,训练集特征向量矩阵,训练集标签向量,k值)
def KJL(inX,dataSet,labels,k):
    #用shape[0]读取训练集第一维的长度(行数即训练集实例数)
    dataSetRow=dataSet.shape[0]
    #用shape[1]读取训练集第二维的长度(列数即特征数)
    dataSetCol=dataSet.shape[1]
    #读取输入向量的列数(特征数)
    inXCol=len(inX)
    #训练集标签向量的个数
    labelsLen=len(labels)
    #对训练集的判定
    if labelsLen!=dataSetRow:
        print "训练集的特征集和标签集实例数目不等"
        return
    #对输入的判定
    if inXCol!=dataSetCol:
        print "用于测试的的实例的特征数目和训练集特征数目不等"
        return
    #用tile()将输入的特征向量重复成和训练集特征向量一样多的行
    #变成2维,里面的维度重复1次,外面一层重复dataSetRow次
    diffMat=tile(inX,(dataSetRow,1))
    #减去训练集特征向量矩阵得到存偏差的矩阵
    diffMat=diffMat-dataSet
    #将减出来的偏差矩阵每个元素平方
    sqDiffMat=diffMat**2
    #对行求和,表示这个实例和这行对应的训练集实例的L2范数的平方
    sqDistances=sqDiffMat.sum(axis=1)
    #为了方便就不开根号(**0.5)了
    #argsort()返回其从小到大排序的排序索引序列
    sortIndex=sqDistances.argsort()
    #空字典,用来存各个标签在前k邻居中出现的次数
    classCount={}
    #找前k个距离最近的,也就是排序下标从0~k-1的
    for i in range(k):
        #暂存第i近(从0计数)训练集实例的标签
        voteIlab=labels[sortIndex[i]]
        #先取字典中以这个标签为key的value值,如果没有则返回0
        #加上1作为以这个标签为key的value值
        classCount[voteIlab]=classCount.get(voteIlab,0)+1
    #把classCount用iteritems()方法变成可迭代对象传入
    #用operator.itemgetter()方法定义一个函数给参数key,这个函数按1号域排序
    #将reverse参数显示修正为True,表示降序排序(找频数最大的)
    sortedClassCount=sorted(                
            classCount.iteritems(),
            key=operator.itemgetter(1),
            reverse=True)
    #排序好后,第0个对象就是要找的那个频率最高的实例的[标签,频率]了
    #只返回标签
    return sortedClassCount[0][0]

#显示训练集和输入的实例(二维特征)
#(输入的特征向量,训练集特征向量矩阵,训练集标签向量,x轴名称,y轴名称,标题)
def show(inX,dataSet,labels,xlab,ylab,tit):
    #用shape[0]读取训练集第一维的长度(行数即训练集实例数)
    dataSetRow=dataSet.shape[0]
    #用shape[1]读取训练集第二维的长度(列数即特征数)
    dataSetCol=dataSet.shape[1]
    #读取输入向量的列数(特征数)
    inXCol=len(inX)
    #训练集标签向量的个数
    labelsLen=len(labels)
    #对训练集的判定
    if labelsLen!=dataSetRow:
        print "训练集的特征集和标签集实例数目不等"
        return
    #对维度的判定
    if dataSetCol!=2:
        print "特征不是两维的,暂时不能用这个方法"
        return
    #对输入实例的判定
    if inXCol!=dataSetCol:
        print "用于测试的的实例的特征数目和训练集特征数目不等"
        return
    #绘制窗口
    plt.figure(0)
    #横纵坐标名称,标题名称
    plt.xlabel(xlab)
    plt.ylabel(ylab)
    plt.title(tit)
    #需要网格
    plt.grid(True)
    #用来管理颜色表
    idx=0
    clr=['r','b','y','g','c','m']
    bqzd={}
    #循环画每一个点(实际上也可以传入list画一群点)
    for i in range(labelsLen):
        #如果这个标签没放入字典
        if bqzd.get(labels[i],0)==0:
            bqzd[labels[i]]=clr[idx] #放入字典
            idx=(idx+1)%6 #取新的颜色表下标
        #绘制这个点
        plt.scatter(
            dataSet[i][0],
            dataSet[i][1],
            color=bqzd[labels[i]],
            marker='x',
            label=labels[i])
    #绘制给定的实例点
    plt.scatter(
        inX[0],
        inX[1],
        color='k',
        marker='o',
        label='Test Data')
    plt.show()
    return

导入模块，然后使用它：

运行结果：

在这里我使用的是L2范数距离(欧式距离)的平方，开根号不影响比较大小。

此外，为了显示点的标签，可以用：

#右上角打标注
plt.legend(loc = 'upper right')

但是这个程序里是每个点画一次，不是传入相同标签的点的集和，所以直接这样用结果是这样：

所以可以去改一下for循环，只对新发现的类的那个点传入label参数：

#循环画每一个点(实际上也可以传入list画一群点)
for i in range(labelsLen):
    #如果这个标签没放入字典
    if bqzd.get(labels[i],0)==0:
        bqzd[labels[i]]=clr[idx] #放入字典
        idx=(idx+1)%6 #取新的颜色表下标
        #绘制这个点
        plt.scatter(
            dataSet[i][0],
            dataSet[i][1],
            color=bqzd[labels[i]],
            marker='x',
            label=labels[i])
    else:
        #绘制这个点
        plt.scatter(
            dataSet[i][0],
            dataSet[i][1],
            color=bqzd[labels[i]],
            marker='x')

为了不遮挡，放在左上角：

#左上角打标注
plt.legend(loc = 'upper left')