《机器学习实战》读书笔记（一） kNN算法

       去年看了一遍《机器学习实战》一书，由于没有做笔记，导致很多东西都忘了，回头来看，又有很多东西要重新理解，很费事。现在把书中的脉络整理出来，方便自己记忆，也供各位在机器学习和数据挖掘方向刚入门的同学参考。

• 基本原理：

       计算目标点到数据集中所有点的距离，得到距离最近的前k个点的类型，该分类中数量居多的那种 类型即为目标点的类型

• 具体思路：

      分类功能是由classify0(inX, dataSet, labels, k)实现的。在该函数中，     

      intX代表目标点

      dataSet代表数据集

      labels代表数据集类型标签

      k为用户指定的用来判断类型的前k个最近的点

• 代码：

def classify0(inX, dataSet, labels, k):
    #计算距离，得到的distances为一个一维数组，表示inX到dataSet中每个点的距离
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX, (dataSetSize,1)) - dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    #按照距离值进行排序，得到的sortedDistIndicies是distances排序后的下标值。
    sortedDistIndicies = distances.argsort()
    #迭代前k个值，计算每个种类的票选值
    classCount={}          
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        #如果值为voteIlabel，则该值的票选值+1
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)
    #返回算出票选值后的数组中的赢家
    return sortedClassCount[0][0]

     

• 例：

    dataSet= array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])

    labels = ['A','A','B','B']    

    classify0([0,0], dataSet, labels, 3)
    注：dataSet中有四个点，四个点的坐标分别为（1, 1.1） (1, 1) (0, 0) (0, 0.1),其类型分别为A,A,B,B

    得到的结果为‘B'

• 缺点：

     由于需要计算目标点到数据集中所有点的距离，故需要对整个数据集做遍历，计算量太大，效率较低。