机器学习笔记：kNN算法

k-近邻算法

优点：精度高、对异常值不敏感、无数据输入假定。

缺点：计算复杂度高、空间复杂度高

适用数据范围：数值型和标称型

k的含义：我们只选择样本数据集中前k个最相似的数据，通常不大于20，在这k个数据集中选择出现次数最多的分类作为新数据的分类。

kNN算法有很多不同类型，这里介绍的是利用字典存储每个标签出现的频率，operator操作键值进行排序，返回出现最多的分类名称的方式。

python3.6的k-近邻算法解读  

#kNN算法
def classify0(inX,dataSet,labels,k):                 #inX是用于分类的向量，也即测试向量，训练样本dataSet，标识向量labels
    dataSetSize = dataSet.shape[0]                   #利用欧氏距离公式，计算两个向量点的距离
    diffMat = np.tile(inX,(dataSetSize,1))-dataSet   #用于分类的向量点减去样本向量点，其中tile函数将inX扩展到与样本相同行数
    sqDiffMat = diffMat**2                           #将减得的值全部平方
    sqDistances = sqDiffMat.sum(axis=1)              #将平方后的值全部相加
    distances = sqDistances**0.5                     #再将相加后的值开根号，便得到了两个向量点的距离。
    sortedDisIndicies = distances.argsort()          #将得到的距离集排序
    classCount = {}                                   
    for i in range(k):                               
        voteIlabel = labels[sortedDisIndicies[i]]    #得到已经排过序的前k个距离所在的label，记录并+1
        classCount[voteIlabel] = classCount.get(voteIlabel,0)+1
    sortedClassCount = sorted(classCount.items(),\
                              key = operator.itemgetter(1),\
                                reverse = True)      #根据对象第一个域的值即出现次数排序，reverse=True降序
    return sortedClassCount[0][0]                    #返回出现次数最大的一个

其中计算距离时的公式和高中数学计算两个点的距离类似

现在就可以提供测试的向量，样本数据dataSet，以及标签向量来得到测试结果是否与测试向量原本标识一致
也可以计算此算法的正确率或者错误率