ML学习笔记-K-近邻值算法

一般流程

1.收集数据：	可以使用任何方法。
2.准备数据：	距离计算所需要的数值，最好是结构化的数据格式。
3.分析数据：	可以使用任何方法。
4.训练算法	此步骤不适用于k-近邻算法
5.测试算法	计算错误率
6.使用算法	首先需要输入样本数据和结构化的输出结果，然后运行k-近邻算法判定输入数据分别属于哪个分类，最后应用对计算出的分类执行后续的处理。

伪代码

对未知类别属性的数据集中的每个点依次执行以下操作：

1.计算对已知类别数据集中的点与当前点之间的距离；

2.按照距离递增次序排序；

3.选取与当前点距离最小的k个点；

4.确定前k个点所在类别的出现频率；

5.返回前k个点出现频率最高的类别当做当前点的预测分类。

具体代码

1.KNN.py

from numpy import *
import operator
from cProfile import label
from audioop import reverse

def createDateSet():
    gruop=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1],[2.0,2.1],[2.0,2.0]])
    labels=['A','A','B','B','C','C']
    return gruop,labels

def classify0(inX,dataSet,labels,k):
    dataSetSize=dataSet.shape[0]
    '''
            距离计算
    '''
    diffMat=tile(inX, (dataSetSize,1)) - dataSet
    sqDiffMat=diffMat**2
    sqDistances=sqDiffMat.sum(axis=1)
    distances=sqDistances**0.5
    sortedDistIndicies=distances.argsort()
    classCount={}
    '''
            选择距离最小的k个点
    '''
    for i in range(k):
        voteIlabel=labels[sortedDistIndicies[i]]
        classCount[voteIlabel]=classCount.get(voteIlabel,0)+1
    '''
            排序
    '''
    sortedClassCount=sorted(classCount.iteritems(),key=operator.itemgetter(1),reverse=True)
    return sortedClassCount[0][0]    

在执行代码时，注释会报错，可以去掉这些注释。

2.KNNtest.py

import knn

group,labels=knn.createDateSet()
print knn.classify0([1,1.1], group, labels, 2);
print knn.classify0([1,0.2], group, labels, 2);
print knn.classify0([0.1,0.2], group, labels, 2);
print knn.classify0([2.1,2.2], group, labels, 2);
print knn.classify0([1.5,1.6], group, labels, 2);
print knn.classify0([1.7,1.6], group, labels, 2);