机器学习实战之K-近邻算法

K-近邻算法工作原理

        存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的数据进行比较，然后算法提取样本集中特征最相似数据（最邻近）的分类标签。一般来说，我们只选取样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

K-邻近算法代码

#    inX: 用于分类的输入向量
#    dataSet: 训练样本集
#    lables: 标签向量
def classify0(inX, dataSet, labels, k):
    #取得样本集个数
    dataSetSize = dataSet.shape[0]
    #计算待分类的输入向量与样本集中每个数据的距离
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet  
    sqDiffMat = diffMat ** 2
    sqDistances = sqDiffMat.sum(axis = 1)
    distances = sqDistances ** 0.5
    #argsort函数的作用是返回一个索引列表，该列表使得
    #distance[sortedDistIndices[0]]<distance[sortedDistIndices[1]]<...
    sortedDistIndices = distances.argsort()
    classCount = {}
    #统计前K个数据所属的分类，并记录每个类别中数据的个数，并返回数据最多的那个类别
    for i in range(k):
        voteIlabel = labels[sortedDistIndices[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
    sortedClassCount = sorted(classCount.iteritems(), key = operator.itemgetter(1), 
                       reverse = True)
    return sortedClassCount[0][0]

示例一：用K-近邻算法改进约会网站的配对效果

1、准备数据：从文本文件中解析数据

       约会网站的样本数据主要包含以下3种特征：

                 每年获得的飞行常客历程数

                 玩视频游戏所占时间百分比

                 每周消费的冰淇淋公升数

#   将待处理数据的格式变为分类器可以接受的格式
def file2matrix(filename):
    fr = open(filename)
    arrayOLines = fr.readlines()
    #获得文件的行数
    numberOfLines = len(arrayOLines)
    #创建一个以零填充的矩阵，行数为文件的行数，列数为3
    returnMat = zeros((numberOfLines, 3))
    classLabelVector = []
    index = 0
    for line in arrayOLines:
        line = line.strip()
        listFromLine = line.split('\t')
        #将待处理数据每行前三个数存在矩阵中的一行中
        returnMat[index,:] = listFromLine[0:3]
        #将待处理数据每行最后一个数存在类别向量中
        classLabelVector.append(int(listFromLine[-1]))
        index += 1
    return returnMat, classLabelVector