K-近邻算法

KNN-k近邻算法：

欧式距离计算公式：              

伪代码：

（1）计算已知类别的点与未知类别的点的距离

（2）按照距离递增的顺序排序

（3）选取与当前点最近的k个点

（4）确定前k个点的所在类别出现的频率

（5）返回出现频率最高的类别作为当前点的预测分类

Python代码实现 :

__author__ = 'Administrator'
from numpy import *
import operator
from os import listdir
def classify(inx, dataSet, labels,k):
    dataSetSize = dataSet.shape[0]#获取数据集的行数
    diffMat = tile(inx, (dataSetSize,1))-dataSet#将待分类数据集扩展到与已有数据集同样的规模，然后再与已有数据集作差
    sqDiffMat = diffMat**2#平方
    sqDistances = sqDiffMat.sum(axis=1)#对每一行数据求和
    distances = sqDistances**0.5 #开方
    sortedDistIndicies = distances.argsort()#对开方结果建立索引如：【1,,5,2,6】索引为【0，2,1,3】
    classCount={} #建立空字典
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]#先找出开方结果索引表中第i个值对应的Label值
        classCount[voteIlabel] = classCount.get(voteIlabel, 0)+1# 存入当前label以及对应的类别值,组成键值对
    sortedclassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
    #对类别字典进行逆排序，级别数目多的往前放
    return sortedclassCount[0][0]
def createDataSet():
    group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
    labels = ['A', 'A', 'B', 'B']#已有数据以及对应的标签

       return group, labels

if __name__ == '__main__':  

group,labels = createDataSet()

forecast = classify([0,0],group,labels,3)

print(forecast)