python机器学习之K-临近算法

楼主自学python，自我总结发博客，这样可以更加掌握
华丽的分割线------------------------------------------------------------------------------

一、k-临近算法
是一种标准的分类方法，简单来说就是通过测量不同特征值之间的距离方法进行分类。

优点：精度高、对异常值不敏感、无数据输入假定。
缺点：计算复杂度高、空间复杂度高。 适用数据范围：数值型和标称型

二、k-临近算法一般流程：
(1) 收集数据：可以使用任何方法，这里推荐标准数据库。
(2) 准备数据：距离计算所需要的数值，最好是结构化的数据格式。
(3) 分析数据：可以使用任何方法。
(4) 训练算法：此步骤不适用于k-近邻算法。
(5) 测试算法：计算错误率。
(6) 使用算法：首先需要输入样本数据和结构化的输出结果，然后运行k-近邻算法判定输 入数据分别属于哪个分类，最后应用对计算出的分类执行后续的处理

from numpy import*
import operator
from os import listdir



def classify0(inX,dataSet,labels,k):
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX,(dataSetSize,1)) - dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    sortedDistIndicies = distances.argsort() #计算距离
    classCount={}
    for i in range(k):  #选择距离最短的K个点
        vorteIlael = labels[sortedDistIndicies[i]]
        classCount[vorteIlael] = classCount.get(vorteIlael,0) + 1
        sortedClassCount = sorted(classCount.iteritems(),key=operator.itemgetter(1),reverse=True) #排序
        return sortedClassCount[0][0]