K最邻近分类算法--KNN(K-nearest neighbor)

核心思想

K最近邻(k-Nearest Neighbor，KNN)分类算法的核心思想是如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。即 在一个含未知样本的空间，可以根据离这个样本最邻近的k个样本的数据类型来确定样本的数据类型

• 该算法涉及3个主要因素：训练集、距离与相似的衡量、k的大小；主要考虑因素：距离与相似度；

用途

可被用于多分类， 也可被用于回归问题（即通过找出一个样本的k个最近邻居，将这些邻居的属性的平均值赋给该样本，作为预测值）

算法描述

简单来说就是计算输入数据D与所有样本点的距离(该距离为两点间欧式距离：$$\sum \frac{(Xi-Yi{)}^2}{2}.$$，然后取最小的前k个样本的标签的统计即可

代码实现（python）

from numpy import *
import operator#运算符模块

def classify0(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX, (dataSetSize,1)) - dataSet#距离计算使用欧式距离公式
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)#行向量相加
    distances = sqDistances**0.5
    sortedDistIndicies = distances.argsort()#逆序排序返回下标
    classCount={}          
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0)+1  #此处+1是为了计数
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)#sorted得到结果，其中itemgetters是运算符模块中对元组进行逆序
    return sortedClassCount[0][0]

def createDataSet():
    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels = ['A','A','B','B']
    return group, labels

group,labels=createDataSet()
print(classify0([0,0],group,labels,3))