机器学习算法之（一） -- k邻近算法 （kNN) 代码详解 （Python 实现)

kNN 算法：

简单来说就是在已知类别的样本中计算与已知点的距离，选取距离最近的k 个样本，再将这k个样本中的多数类作为该已知点的类

下面给出伪代码：

 对未知类比属性的数据集中的每个点依次执行以下操作：

（1）计算已知类别数据集中的点与当前点之间的距离

（2）按照距离进行升序排序

（3）选取与当前点距离最小的k个点

（4）确定前k个点所在类别的出现频率

（5）返回前k个点出现频率最高的类别作为当前点的预测分类

Python  kNN  代码 

import numpy as np
improt operator

"""
4个参数
        inX 表示当前点   dataSet 表示训练集中的样本
        labels 表示标签  k 表示选取的距离最近的样本点个数
"""
def classify0(inX, dataSet, labels, k):
    #shape[0] 表示获取数据集中第一维的长度，即获取数据集的行数
    dataSetSize = dataSet.shape[0]
    #计算当前点与训练集中所有样本点的差
    #numpy 中的tile（....）表示将inX矩阵横向复制 dataSetSize 次
    diffMat = np.tile(inX, (dataSetSize,1)) - dataSet
    #计算差的平方
    sqdiffMat = diffMat ** 2
    #axis = 1 表示对行中列序执行操作
    #axis = 0 表示对列中行序执行操作，不懂可以看文章附图
    sqDistance = sqdiffMat.sum(axis=1)
    #计算距离
    distance = sqDistance ** 0.5
    #距离排序
    sortedDistIndicies = distance.argsort()
    classCount = {}
    for i in range(k):
        #选取距离测试点距离最近的k个样本的标签
        voteIlabel = labels[sortedDistIndicies[i]]
        #对这k个样本的标签所属归类
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    #得到多数类
    sortedClassCount = sorted(classCount.iteritems(),
                                key = operator.itemgetter(1), reverse=True)
    """
    字典的iteritems属性返回的是迭代器，不过在python3中已经废除，若在python3中实现，应改为:
    sortedClassCount = sorted(classCount.items(),
                                key = operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]
    """
    #返回该多数类类名作为当前点的预测分类
    return sortedClassCount
 
 
    

 对于axis 的图解：

                               

搞定了kNN算法，不妨来个小例子测试一下吧

首先在kNN算法中加入一个创建简单的训练集函数

from numpy import *
import operator

def createdataset():
    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels = ['A','A','B','B']
    return group, labels

接着便在Python console 中测试一下吧