机器学习: k-近邻算法

1.k-近邻算法工作原理

        存在一个样本数据合集，也称作训练样本集，并且样本集中每个数据都有标签，即我们知道样本集中每一数据与所属分类的对于关系。输入没有标签的新数据后，将新数据的每一个特征与样本集中数据对于的特征进行比较，然后算法提取样本集中特征最相近的数据的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k值是不大于20的整数.

2.k-近邻算法的一般流程

（1）收集数据：可以使用任何方法

（2）准备数据：距离计算所需要的数值，最好是结构化的数据格式

（3）分析数据:可以使用任何方法

（4）训练算法：此步骤不适用k-近邻算法

（5）测试算法：计算错误率

（6）使用算法：首先需要输入样本数据和结构化的输出结果，然后运行K 近邻算法判定输入数据分别属于哪个分类，最后应用对计算出的分类执行后续的处理

3.代码实例分析

        本列采用书本上一个简单的例子：

           定义A，B两个物品，以及两种的数据

def createDataSet():
    group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
    labels = ['A','A','B','B']
    return group,labels

然和就计算测试点距离A，B两点的距离大小，然后去距离较近的点，将测试点划分到距离近的目标点范围

def calssify(inX,dataSet,labels,k):
    dataSetSize=dataSet.shape[0]
    diffMat=numpy.tile(inX,(dataSetSize,1))-dataSet
    sqDiffMat=diffMat**2
    sqDistances=sqDiffMat.sum(axis=1)
    distances=sqDistances**0.5
    sortedDistIndicies=distances.argsort()
    classCount={}
    for i in range(k):
        voteIlabel=labels[sortedDistIndicies[i]]
        classCount[voteIlabel]=classCount.get(voteIlabel,0)+1
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]

以下为本次代码的全部，可以直接运行 

import numpy
from numpy import *
import operator
import collections
def createDataSet():
    group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
    labels = ['A','A','B','B']
    return group,labels
def calssify(inX,dataSet,labels,k):
    dataSetSize=dataSet.shape[0]
    diffMat=numpy.tile(inX,(dataSetSize,1))-dataSet
    sqDiffMat=diffMat**2
    sqDistances=sqDiffMat.sum(axis=1)
    distances=sqDistances**0.5
    sortedDistIndicies=distances.argsort()
    classCount={}
    for i in range(k):
        voteIlabel=labels[sortedDistIndicies[i]]
        classCount[voteIlabel]=classCount.get(voteIlabel,0)+1
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]
if __name__ == '__main__':
    group,labels=createDataSet()
    test=[0.8,0.5]
    test_class = calssify(test, group, labels, 3)
    print(test_class)

本次测试点为（0.8,0.5），自然划分到A的范围内

 4.学习总结

        k-近邻算法是分类数据最简单，最有效的算法。k-近邻算法必须保存全部的数据集，如果数据集过大，必须使用大量的存储空间。此外，由于必须对数据集中每一个数据计算距离，使用时会比较耗费数据