机器学习之kNN算法

一、概述

1.1 KNN简介

​ kNN算法：即K最近邻(kNN，k-NearestNeighbor)分类算法

​ KNN是一种分类(classification)算法，它输入基于实例的学习（instance-based learning），属于懒惰学习（lazy learning），即KNN没有显式的学习过程，也就是说没有训练阶段，数据集事先已有了分类和特征值，待收到新样本后直接进行处理。与急切学习（eager learning）相对应。

​ KNN通过测量不同特征值之间的距离进行分类。

1.2 补充

1.3 何时使用KNN？

二、算法思想

2.1 判断电影类别

2.2 判断点的类别

​ 要确定绿点属于哪个颜色（红色或者蓝色），要做的就是选出距离目标点距离最近的k个点，看这k个点的大多数颜色是什么颜色。

​ 当k取3的时候，我们可以看出距离最近的三个，分别是红色、红色、蓝色，因此得到目标点为红色。

三、建模流程

四、算法描述

4.1 基本流程

• 计算测试数据与各个训练数据之间的距离；

• 按照距离的递增关系进行排序；

• 选取距离最小的K个点；

• 确定前K个点所在类别的出现频率；

• 返回前K个点中出现频率最高的类别作为测试数据的预测分类

4.2 注意要点

4.3 K的取值

• K：临近数，即在预测目标点时取几个临近的点来预测。

• K的取值过小：一旦有噪声得成分存在们将会对预测产生比较大影响。K值为1时，一旦最近的一个点是噪声，那么就会出现偏差，K值的减小就意味着整体模型变得复杂，容易发生过拟合。

• K的取值过大：即用较大邻域中的训练实例进行预测，学习的近似误差会增大。与输入目标点较远实例也会对预测起作用，使预测发生错误。K值的增大也就意味着整体的模型变得简单。

• K==N时，那么就是取全部的实例，即为取实例中某分类下最多的点，就对预测没有什么实际的意义了。

• K的取值尽量要取奇数，以保证在计算结果最后会产生一个较多的类别，如果取偶数可能会产生相等的情况，不利于预测。

• 常用的方法是从k=1开始，使用检验集估计分类器的误差率。重复该过程，每次K增值1，允许增加一个近邻。选取产生最小误差率的K。

• 一般k的取值不超过20，上限是n的开方，随着数据集的增大，K的值也要增大。

4.4 距离的选取

常用的方法有：余弦值（cos）, 相关度 （correlation）, 曼哈顿距离 （Manhattan distance）、海明距离、欧式距离等。

例如：欧式距离

曼哈顿距离

4.5 KNN回归

5.总结

5.1 kNN的缺点

6.kNN算法的实现及其实战

6.1 判断点是哪个类别

# kNN.py
# 分类器
def classify0(inX, dataSet, labels, k):
    '''
    :param inX:
    :param dataSet:  数据集合  矩阵
    :param labels:  类别名
    :param k: K值      int
    :return: 判断的类别名
    '''
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet
    sqDiffMat = diffMat ** 2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances ** 0.5
    sortedDistIndicies = distances.argsort()
    classCount = {}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]


# 建立数据集
def createDataSet():
    group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
    labels = ['A', 'A', 'B', 'B']
    return group, labels

注：kNN是自己写的一个kNN.py文件

6.2 约会网站配对

详情：点击这里

6.3 手写识别案例

• 详情 https://github.com/Jenny0611/Ml_Learning01

6.4 识别鸢尾花

详情：点击这里