KNN(K-近邻算法)

1 KNN算法的总结

   k近邻算法：在判断某个输入的样本甲的未知类别时，分别计算阿与训练样本中所有样本的空间距离，通过对最小距离d进行排序，看甲在最小距离d的样本中，那个类别所占概率越大一个就属于那类。

   常见计算距离的方法：欧式距离，曼哈顿距离，闵式距离，马式距离等。

 2 KNN适用场景和优缺点

   适用场景：数字/文字识别，面部识别;预测某人是否喜欢推荐电影（Netflix的的）;客户流失预测，欺诈侦测（更适合于稀有事件的分类问题）等

   优点：2.1）思想简单，理论成熟，既可以用来做分类也可以用来做回归; 2.2）可用于非线性分类; 2.3）训练时间复杂度为O（N）; 2.4）准确度高，对数据没有假设，对异常值不敏感;

   缺点：2.1）计算量大; 2.2）样本不平衡问题（即有些类别的样本数量很多，而其它样本的数量很少）; 2.3）需要大量的内存;

 3算法过程

      3.1）计算已知类别数据集中的点与当前点之间的距离; 3.2）按照距离进行排序; 3.3）选取与当前点距离最小的ķ个点; 3.4）确定前ķ个点所在类别的出现频率; 3.5）返回前ķ个点出现频率最高的类别作为当前点的预测分类。

4具体实例

4.1）实现一个简单数组的类别判断

   建立KNN.py

# -*- coding: utf-8 -*-
"""
# knn分类器的初步尝试
"""

from numpy import *
import operator

"""
#创建标签类函数
"""
def createDataSet():
    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels = ['A','A','B','B']
    return group, labels
	
"""
#knn分类的函数，利用欧式距离
 #inX: 用于分类输入的向量
 #dataSet:用于训练的样本
 #labes:样本的标签与样本行列数一样多
 #k:用于选择最近临的k个值
"""
def classify0(inX, dataSet, labels, k):        
    dataSetSize = dataSet.shape[0] #返回数组行数,shape()读数组的行和列;当只有一行时返回列数
	#title有重复功能，将一行变成4行inx;与后面的训练数组相减
    diffMat = tile(inX, (dataSetSize,1)) - dataSet
    sqDiffMat = diffMat**2  #元素中的平方
    sqDistances = sqDiffMat.sum(axis=1) #对同一行数组求和
    distances = sqDistances**0.5  #对距离开方
    sortedDistIndicies = distances.argsort() #将数据进行从小到大排序，返回其序号    
    classCount={}          
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]] #取出不同的序号
		#算离目标点距离最近的k个点的类别，这个点是哪个类别哪个类别就加1
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1 
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]  #返回类别最多的类别

然后再jupyter中导入KNN模块，运行kNN.classify0（矢量，组，标签，K）的.vecter为你要输入判断的向量，K要选择近邻的数目。

4.2）实现手写数字的分类

   此处的数据为0-9的手写图片，通过处理，保存成0,1的灰度的.TXT的文档。

'''
# 函数对手写数字图片的识别函数
# 待添加：对图片转化成0,1灰度值的.txt文件的函数
'''
from numpy import *
import operator 
from os import listdir #os模块经常与文件、目录处理相关。

def classify0(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX, (dataSetSize,1)) - dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5
    sortedDistIndicies = distances.argsort()     
    classCount={}          
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]


'''
#将图像格式处理为一个向量，将32x32的图转化为1x1024向量
 #filename:输入图片的文件的字符串名称
'''   
def img2vector(filename):
    returnVect = zeros((1,1024)) #创建一个1x1024的矩阵
    fr = open(filename)  #打开一个文件,open()成功，一个文件对象句柄会被返回。
    for i in range(32):
        lineStr = fr.readline() #每次读出一行内容
        for j in range(32):
            returnVect[0,32*i+j] = int(lineStr[j]) #将32x32的图转化为1x1024向量
    return returnVect  #返回一个1x1024的数组

'''
#手写数字识别系统的测试代码
'''  
def handwritingClassTest():
    hwLabels = []
	# os模块中的listdir('str')可以读取目录str下的所有文件名，返回一个字符串列表
    trainingFileList = listdir('trainingDigits')        
    m = len(trainingFileList) # 列表的长度，即全部的文件
    trainingMat = zeros((m,1024)) #创建一个mx1024的0矩阵
    for i in range(m):  #循环读取文件中的每一个文件进行处理
        fileNameStr = trainingFileList[i] 
        fileStr = fileNameStr.split('.')[0] #对文本的路径进行分割，取出'.'前的一组分割部分   
        classNumStr = int(fileStr.split('_')[0]) #对文本的路径进行分割，取出'_'前的一组分割部分
        hwLabels.append(classNumStr)  #将取出来的数字写到数组hwLabels中
        trainingMat[i,:] = img2vector('trainingDigits/%s' % fileNameStr)
	# os模块中的listdir('str')可以读取目录str下的所有文件名，返回一个字符串列表	
    testFileList = listdir('testDigits')      
    errorCount = 0.0   #定义一个错误率变量
    mTest = len(testFileList)  # 测试列表的长度，即全部的文件
    for i in range(mTest):
        fileNameStr = testFileList[i]
        fileStr = fileNameStr.split('.')[0]     #take off .txt
        classNumStr = int(fileStr.split('_')[0])
        vectorUnderTest = img2vector('testDigits/%s' % fileNameStr)
        classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3)
        print "分类器返回的数字: %d, 真实的数字: %d" % (classifierResult, classNumStr)
        if (classifierResult != classNumStr): errorCount += 1.0  #判断分类是否正确
    print "\分类错误的总数: %d" % errorCount
    print "\分类错误率: %f" % (errorCount/float(mTest))

上述算法为KNN中学习的基础实例，更复杂的有待添加！