机器学习 KNN K-最邻近算法

k 近邻学习是一种常用的监督学习方法，比如：判断一个人的人品，只需要观察与他来往最密切的几个人的人品好坏就可以得出，即“近朱者赤，近墨者黑”。

理论/原理：“物以类聚，人以群分”

一个对于KNN算法解释最清楚的图如下所示：

蓝方块和红三角均是已有分类数据，当前的任务是将绿色圆块进行分类判断，判断是属于蓝方块或者红三角。

当然这里的分类还跟K值是有关的：

如果K=3(实线圈)，红三角占比2/3，则判断为红三角；

如果K=5(虚线圈)，蓝方块占比3/5，则判断为蓝方块。

 

由此可以看出knn算法实际上根本就不用进行训练，而是直接进行计算的，训练时间为0，计算时间为训练集规模n。

knn算法的基本要素大致有3个：

　　1、K 值的选择

　　2、距离的度量

　　3、分类决策规则

# -*- coding: utf-8 -*-

import numpy as np  # 科学计算包Numpy
import operator  # 运算符模块

"""
对未知类别属性的数据集中的每个点依次执行一下操作：
（1）计算已知类别数据集中的点与当前点之间的距离 
（2）按照距离递增次序排序 
（3）选取与当前点距离最小的k个点 
（4）确定前k个点所在类别的出现频数 
（5）返回当前k个点出现频数最高的类别作为当前点的预测分类

近朱者赤，近墨者黑”
理论/原理：“物以类聚，人以群分”
参考链接：https://blog.csdn.net/Daycym/article/details/84452786
"""

# k-近邻算法
def knn(inX, dataSet, labels, k):  # 输入向量，训练数据，标签，参数k
    dataSetSize = dataSet.shape[0]  # 数据个数
    # 计算差值
    """
    tile函数：将输入向量变成和训练数据一样的形状
    例如：输入向量为[1.2, 1]，
    训练数据为:
       [[1.0, 1.1],
        [1.0, 1.0],
        [  0,   0],
        [  0, 0.1]]
    变换后为：
       [[1.2,   1],
        [1.2,   1],
        [1.2,   1],
        [1.2,   1]]
    """

    diffMat = np.tile(inX, (dataSetSize, 1)) - dataSet  # 计算对应元素的差值
    
    sqDiffMat = diffMat ** 2  # 每个元素分别平方
    sqDistances = sqDiffMat.sum(axis=1)  # 按行求和
    distances = sqDistances ** 0.5  # 开根号  欧氏距离，求得每个训练数据到输入数据的距离
    sortedDistIndicies = distances.argsort()  # 返回数组值从小到大的索引
    classCount = {}  # 创建一个字典，用于记录每个实例对应的频数
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]  # 选择k个距离最小的点，对应标签
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1  # 统计频数
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
    """
    operator.itemgetter(1):返回前面classCount迭代器中的第1列
    sorted中key指定按value值排序
    reverse=True降序
    """
    return sortedClassCount[0][0]  # 返回最多的，多数表决法

# 1.数据获取
def createDataSet():
    group = np.array([
        [1.0, 1.1],
        [1.0, 1.0],
        [0, 0],
        [0, 0.1]
    ])
    labels = ['A', 'A', 'B', 'B']
    return group, labels

# 查看数据
group, labels = createDataSet()
print("训练数据:", group)
print("标签:", labels)


# 预测
result = knn([1.2, 1], group, labels, 3)
print("预测标签为：", result)

如何理解中间部分的代码，参考如下：

#knn-k-最临近算法
#inX为待分类向量，dataSet为训练数据集
#labels为训练集对应分类，k最邻近算法
def classify0(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]#获得dataSet的行数
    
    diffMat = np.tile(inX, (dataSetSize,1)) - dataSet#对应的差值
    sqDiffMat = diffMat**2                           #差的平方
    sqDistances = sqDiffMat.sum(axis=1)              #差的平方的和
    distances = sqDistances**0.5                     #差的平方的和的平方根
    #计算待分类向量与每一个训练数据集的欧氏距离   
    
    sortedDistIndicies = distances.argsort() #排序后，统计前面K个数据的分类情况
    
    classCount={}#字典
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]#labels得是字典才可以如此
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
        
    sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)#再次排序
    
    return sortedClassCount[0][0]#第一个就是最多的类别