机器学习实战之k-近邻算法（2）---python简单版

from numpy import *
import operator
def createDataSet():
    group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
    labels = ['A', 'A', 'B', 'B']
    return group, labels
def classify0(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet
    sqDiffMat = diffMat ** 2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    sortedDistIndicies = distances.argsort()
    classCount = {}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
    sortedClassCount = sorted(classCount.iteritems(), key = operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]

>>> import kNN
>>> group, labels = kNN.createDataSet()
>>> kNN.classify0([0, 0], group, labels, 3)
'B'
>>> 

这是《机器学习实战》的第一份Python代码。

第一份代码文件名为kNN.txt。安装Pyton(x, y)之后，直接打开编辑，然后运行Python shell， 输入命令可以得到点[0,0]的分类（'B'）。

输入的测试样本是[0,0]，训练样本是group， labels， k-近邻的k==3。

下面讲解classify0函数：

(1)距离是欧氏距离---差的平方和的开方。

(2)argsort()函数可以实现对数组的排序，然后返回新的数组的各个元素原来的下标。

(3)取距离从小到大的前k个数组的下标，然后得到这个下标的类别，给这个类别投一票。

(4)voteIlabel是类标签是类标签，classCount字典是存放类别和他们所得的票数。

(5)将classCount按照票数从大到小排序，得到sortedClassCount，然后取出排第一的元素标签，即为测试的结果。