机器学习之k-近邻算法

• 一、k-近邻算法概述

k-近邻算法，简单概述就是采用不同特征值之间的距离方法分类

• 二、KNN工作原理

• 1、假设有一个带有标签的样本数据（训练样本集），其中包含了每条数据与所属分类对于关系。
• 2、输入没有标签的数据后，将新数据的每个特征与样本集中数据对应的特征进行比较。

1、计算新数据与样本数据集中每条数据的距离。
2、对求得的所有距离进行排序（从小到大，越小表示越相似）。
3、取前 k （k 一般小于等于 20）个样本数据对应的分类标签。

• 3、取前 k （k 一般小于等于 20 ）个样本数据对应的分类标签。

• KNN的开发流程

• 收集数据：任何方法
• 准备数据：距离计算所需要的数值，最好是结构化的数据格式
• 分析数据：任何方法
• 训练算法：此步骤不适用于 k-近邻算法
• 测试算法：计算错误率
• 使用算法：输入样本数据和结构化的输出结果，然后运行 k-近邻算法判断输入数据分类属于哪个分类，最后对计算出的分类执行后续处理

• KNN算法特点

优点：精度高、对异常值不敏感、无数据输入假定
缺点：计算复杂度高，空间复杂度高
适用数据范围：数值型和标称型

• KNN算法简单例子

from numpy import *
import operator   

def createDataset():
    group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
    labels = ['A', 'A', 'B', 'B']
    return group,labels

def classify0(intX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]
    diffMat = tile(intX, (dataSetSize, 1))-dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    sortedDistIndicies = distances.argsort() # 将元素从小到大排列，提取其对应的index(索引)
    
    classCount = {}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]  # 把按值大小顺序排列的欧氏距离索引list前k个对应的labels遍历出来
        classCount[voteIlabel] = classCount.get(voteIlabel, 0)+1
        '''
         classCount.get(voteIlabel,0)返回字典classCount中voteIlabel元素对应的值,若无，则进行初始化
        '''
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
    '''
     classCount.items()将classCount字典分解为元组列表 
    '''
    return sortedClassCount[0][0]
    '''
    最后return sortedClassCount[0][0]
    容易理，就是出解现频数最高的那个对应的分类标签
    '''
if __name__ == '__main__':

    import KNN
    group, labels = KNN.createDataset()
    result = classify0([0, 0], group, labels, 3)
    print(result)

最终结果为B，也可以改变输入[0，0]的值，测试运行的结果

• K的选值

k临近法中K值越小，模型越复杂，因为K值越小会导致特征空间被划分成更多的子空间，k值越大得到的模型越简单。所以K值越小，对于训练集预测更加精确，近似误差越小（因为你选择更复杂的模型去预测训练）；则反之。
但如果k值选取过小，模型比较复杂会产生过度拟合问题。但如果k值选取过大，模型比较简单会产生欠拟合问题。所以我们要交叉验证k的选值。

• KNN总结

通俗讲，KNN就是给定训练数据集，对一个新输入的实例，在训练数据集中找到与实例距离最近的k个实例。这个实例多数属于某个类，将其划分为这个类。

参考：
1、https://ailearning.apachecn.org/#/
2、https://www.zhihu.com/question/60793482