python实现k-近邻算法

参考：《机器学习实战》- Machine Learning in Action

一、 必备的包

实现此算法需要准备以下的包：

• matplotlib，用于绘图

• numpy，数组处理库

我一般是用pip安装，若不熟悉这些库，可以搜索一下它们的简单教程。

二、 基本思想

 假设存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签。输入测试数据后，通过采用测量不同特征值之间的距离进行分类，即挑选前k个最相似的样本数据。最后，选择k个最相似数据中出现次数最多的分类，作为测试数据的分类结果。

 伪代码：

• 计算已知类别数据集中的点与当前点的距离；
• 按照距离递增次序排序；
• 选取与当前点距离最小的k个点；
• 确定前k个点所在类别的出现频率；
• 返回频率最高的类别作为预测分类。

一般而言，计算距离会采用欧式距离。

三、 代码

背景：有一个约会网站，交往对象总结下来可以分成三种类型：不喜欢的人，魅力一般的人，极具魅力的人。若提供了样本为，三个特征：每年获得的飞行常客里程数，玩视频游戏所耗百分比，每周消费的冰淇淋升数，以及给出所属的类型。
样本文件为：datingTestSet.txt

 代码如下：

# -*- coding:utf-8 -*-
from numpy import *
import matplotlib
import matplotlib.pyplot as plt

#---简单的二维分类器---#
def createDataSet():
    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels = ['A','A','B','B']
    return group, labels


def classify0(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0] #得到行数
    diffMat = tile(inX, (dataSetSize,1)) - dataSet #沿维度重复
    sqDiffMat = diffMat**2 #矩阵每个元素平方
    sqDistances = sqDiffMat.sum(axis=1) #将每行相加
    distance = sqDistances**0.5 #开方
    sortedDistIndicies = distance.argsort()
    classCount = {}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    sortedClassCount = sorted(classCount.items(), \
        key=lambda item:item[1], reverse=True) #参数1是可迭代对象，参数2表示用第2个域的值，参数3表示降序
    return sortedClassCount[0][0]


#---社交网络分类---#
#文件处理
def file2matrix(filename):
    fr = open(filename)
    arrayOfLines = fr.readlines()
    numberOfLines = len(arrayOfLines)
    returnMat = zeros((numberOfLines, 3))
    classLabelVector = []
    index = 0
    for line in arrayOfLines:
        line = line.strip()
        listFromLine = line.split('\t')
        returnMat[index,:] = listFromLine[0:3]
        if listFromLine[-1].startswith('large'):
            classLabelVector.append(3)
        elif listFromLine[-1].startswith('small'):
            classLabelVector.append(2)
        else:
            classLabelVector.append(1)
        
        index += 1
    return returnMat, classLabelVector


#对数据进行归一化处理
def autoNorm(dataSet):
    minVals = dataSet.min(0) #得到每个特征的最小值
    maxVals = dataSet.max(0) #得到每个特征的最大值
    ranges = maxVals - minVals
    normDataSet = zeros(shape(dataSet))
    m = dataSet.shape[0] #得到行数
    normDataSet = dataSet - tile(minVals, (m,1))
    normDataSet = normDataSet/tile(ranges, (m,1))
    return normDataSet, ranges, minVals


#对模型进行测试
def datingClassTest():
    hoRatio = 0.10
    datingDataMat, datingLabels = file2matrix('datingTestSet.txt')
    normMat, ranges, minVals = autoNorm(datingDataMat)
    m = normMat.shape[0]
    numTestVecs = int(m*hoRatio)
    errorCount = 0.0
    for i in range(numTestVecs):
        classifierResult = classify0(normMat[i,:], normMat[numTestVecs:m,:], \
            datingLabels[numTestVecs:m],3)
        print "the classifier came back with: %d, the real answer is: %d" \
            % (classifierResult, datingLabels[i])
        if classifierResult != datingLabels[i]:
            errorCount += 1.0
    print "the total error rate is: %f" % (errorCount/float(numTestVecs))

#约会网站预测函数
def classifyPerson():
    resultList = ['not at all', 'in small doses', 'in large doses']
    PercentTats = float(raw_input('PercentTats of time spent playing video games?'))
    ffMiles = float(raw_input('frequent flier miles earned per year?'))
    iceCream = float(raw_input('liters of ice cream consumed per year?'))
    datingDataMat, datingLabels = file2matrix('datingTestSet.txt')
    normMat, ranges, minVals = autoNorm(datingDataMat)
    inArr = array([ffMiles, PercentTats, iceCream])
    classifierResult = classify0((inArr - minVals)/ranges, normMat, datingLabels, 3)
    print "You will probably like this person: ", \
            resultList[classifierResult - 1]
            

if __name__ == '__main__':
    #datingClassTest()
    #classifyPerson()
    testVector = img2vector('testDigits/0_13.txt')
    print testVector[0,0:31]

转载于:https://www.cnblogs.com/vachester/p/7474278.html