knn

算法概述

knn(k-nearest neighbor classification)k近邻分类算法，应该是机器学习中最简单的算法，它是从训练集中找到和新数据最接近的k条记录，然后根据他们的主要分类来决定新数据的类别。该算法涉及3个主要因素：训练集、距离或相似的衡量、k的大小。

计算步骤

• 算距离：给定测试对象，计算它与训练集中的每个对象的距离
• 找邻居：圈定距离最近的k个训练对象，作为测试对象的近邻
• 做分类：根据这k个近邻归属的主要类别，来对测试对象分类

源码(python)

from numpy import *
import operator

# 创建数据集
def createDataSet():
    group = array([[1, 1.1], [1, 1], [0, 0], [0, 0.1]])
    labels = ['A', 'A', 'B', 'B']
    return group, labels

# 分类
# inX: 待分类向量(1*N)
# dataSet: 已知的m个向量(M*N)
# labels: 已知m个向量的标签(1*M)
# k: 选取的前k个邻居进行比较(k为奇数)
def classify0(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    sortedDistIndicies = distances.argsort()

    classCount = { }
    for i in range(k):
        print sortedDistIndicies[i]
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
    sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]

# test
group, labels = kNN.createDataSet()
result = kNN.classify0([0, 0], group, labels, 3)
print result

参考

数据挖掘十大算法-knn
源码来自书籍 机器学习实战