KNN的Python实现与测试

海伦约会数据集链接

前言

建议在实现过程中对数据实现归一化，因为在此数据集中，相比于游戏时间和每周冰淇淋消费公升数，飞机飞行公里数在数值上最大，它的变化对距离的计算产生的影响也就更大，也就更容易影响到最后的分类结果。但是海伦在约会实例中我们认为三个特征同等重要，因此我们需要将所有的特征的取值范围进行限制，让三个特征对最终的分类结果的影响相同。
经过测试后发现归一化前后测试数据的正确率前者为80%,后者为96%

代码

import operator

import numpy as np
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus']=False

#导入数据
def getdata(url):
    fr=open(url)
    alldata=fr.readlines()# 将所有数据存储在列表中
    alldata_len=len(alldata)# 这个数据集有1000个数据
    data_matrix=np.zeros([alldata_len,3]) #用于存储特征的矩阵
    label_matrix=[] #存储标签的矩阵
    index=0
    for line in alldata:
        line=line.strip()# 删除空格字符如\n,\t
        linelist=line.split("\t")#删除空格后，组成列表
        data_matrix[index]=linelist[0:3]#填充特征矩阵
        if linelist[-1]=="didntLike":   #填充标签矩阵  不喜欢0，有点喜欢1，特喜欢2
            label_matrix.append(0)
        elif linelist[-1] == "smallDoses":
           label_matrix.append(1)
        else:
            label_matrix.append(2)
        index+=1
    return data_matrix,label_matrix

# 数据可视化
def showdata(data_matrix,label_matrix):
    dim=data_matrix.shape[-1]
    data_matrix_train=data_matrix[0:200,:]  #点太多，咱就取200个来看看
    label_matrix_train=label_matrix[0:200]
    train_len=data_matrix_train.shape[0]
    mark=["or","og","ob"]

    ax=plt.axes(projection='3d')
    #打印图例
    ax.plot([],[],[], 'or', label='不喜欢', markersize=8)
    ax.plot([], [], [], 'og', label='有点喜欢', markersize=8)
    ax.plot([], [], [], 'ob', label='特别喜欢', markersize=8)
    #打印坐标轴
    ax.set_xlabel("每年飞行公里数")
    ax.set_ylabel("游戏时间数")
    ax.set_zlabel("每周消费冰淇淋公升数")
    plt.legend()
    #绘图
    j = 0
    for i in label_matrix_train:
        ax.plot(data_matrix_train[j:j+1,0],data_matrix_train[j:j+1,1],data_matrix_train[j:j+1,2],
                mark[i],markersize=5)
        j+=1
    plt.show()

#数据归一化
def autoNorm(dataSet):
    #获得数据的最小值
    minVals = dataSet.min(0)
    maxVals = dataSet.max(0)
    #最大值和最小值的范围
    ranges = maxVals - minVals
    #shape(dataSet)返回dataSet的矩阵行列数
    normDataSet = np.zeros(np.shape(dataSet))
    #返回dataSet的行数
    m = dataSet.shape[0]
    #原始值减去最小值
    normDataSet = dataSet - np.tile(minVals, (m, 1))
    #除以最大和最小值的差,得到归一化数据
    normDataSet = normDataSet / np.tile(ranges, (m, 1))
    #返回归一化数据结果,数据范围,最小值
    return normDataSet, ranges, minVals
def KNN(inpudata,data_matrix,label_matrix,k):
    '''

    :param inpudata: 待预测的数据
    :param data_matrix: 数据集
    :param label_matrix: 数据集的标签
    :param k: 寻找的近邻数
    :return: 分类的结果
    '''
    datalen=data_matrix.shape[0]
    inpudata=np.tile(inpudata,(datalen,1))#海伦约会的例子将数据变成(datalen,3)
    sub=inpudata-data_matrix
    sq=sub**2
    sum=sq.sum(axis=1)#按行方向求和
    distance=sum*0.5
    sorteddisarg=distance.argsort()# 按距离从小到大排序的索引
    classcount={}#记录各出现次数
    for i in range(k):
        vote=label_matrix[sorteddisarg[i]]# 第i个元素的类别
        classcount[vote]=classcount.get(vote,0)+1 #给vote这个键的值加一，如果这个键不存在，则创建并设置默认值0
    # key=operator.itemgetter(1)根据字典的值进行排序，为0根据字典的键进行排序
    # reverse降序排序字典
    result=sorted(classcount.items(),key=operator.itemgetter(1),reverse=True)
    return result[0][0] #返回分类的结果


# 测试正确度
def classifytest():
    url = "datingTestSet.txt"
    data_matrix, classify = getdata(url)
    # showdata(data_matrix, classify)

    # 数据归一化,返回归一化后的矩阵,数据范围,数据最小值
    normMat, ranges, minimal = autoNorm(data_matrix)

    rate = 0.1
    m = normMat.shape[0]

    datatestnum = int(m * rate)
    errornum = 0.0

    for i in range(0, datatestnum):
        result = KNN(normMat[i, :], normMat[datatestnum:m, :], classify[datatestnum:m], 4)
        # print("分类结果：",result,"实际结果",classify[i])
        if result != classify[i]:
            errornum += 1;
    print("正确率为%.2f%%" %((1-(errornum/datatestnum))*100))
if __name__ == '__main__':
    classifytest()# 测试分类器的准确率
    classtype=["不喜欢","有点喜欢","特别喜欢"]
    #每年飞机飞行公里数，游戏时间，每周冰淇淋公升数
    inputdata1=[40000,10,1] #应该特喜欢
    inputdata2 = [10000, 5,2] #应该有点喜欢
    inputdata3 = [70000, 15, 0.6] #应该不喜欢
    data_matrix,label_matrix=getdata("datingTestSet.txt")
    showdata(data_matrix,label_matrix)
    result1=KNN(inputdata1,data_matrix,label_matrix,5)
    result2 = KNN(inputdata2, data_matrix, label_matrix, 5)
    result3 = KNN(inputdata3, data_matrix, label_matrix, 5)
    print("海伦可能%s这个人" %classtype[result1])
    print("海伦可能%s这个人" % classtype[result2])
    print("海伦可能%s这个人" % classtype[result3])