机器学习实战——k-近邻算法（代码）

最近在学习Peter Harrington的《机器学习实战》，代码与书中的略有不同，但可以顺利运行。

from numpy import *
import operator
import os

# 创建一个数据集，用于测试
def createDataset():
    group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
    labels = ['A', 'A', 'B', 'B']
    return group, labels

# k近邻算法
def classifier0(inX, dataset, labels, k):
    datasetSize = dataset.shape[0]
    diffMat = tile(inX, (datasetSize, 1)) - dataset
    distance = ((diffMat**2).sum(axis=1))**0.5
    sortedDistIndicies = distance.argsort()
    classcount = {}
    for i in range(k):
        voteILabel = labels[sortedDistIndicies[i]]
        classcount[voteILabel] = classcount.get(voteILabel, 0) + 1
    sortedClassCount = sorted(classcount.items(), key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]

# 相关函数说明
# tile(A,(m,n))，将数组A在行上重复m次、在列上重复n次，构成一个新的数组
# numpy.argsort()，返回数组值从小到大的索引值
# dict.get(key, default=None),返回指定键的值，如果值不在字典中返回默认值None
# sorted(iterable[, cmp[, key[, reverse]]])
# iterable可迭代对象。
# cmp比较的函数，这个具有两个参数，参数的值都是从可迭代对象中取出，大于则返回1，小于则返回-1，等于则返回0。
# key主要是用来进行比较的元素，只有一个参数，取自于可迭代对象中，指定可迭代对象中的一个元素来进行排序。
# reverse排序规则，