k-近邻算法（KNN）

​​​按照距离最近的K个样本的标签来决定未知样本的标签结果

• k 值的确定：可以通过选择不同的 k 值比较分类效果来确定最佳 k 值（先大范围初筛，再小范围细筛）
• 基于距离比较，所以样本各特征之间的取值范围差别较大的时候，应该对特征进行归一化处理，提升分类效果（要消除量纲对特征的影响）
•  没有模型的训练过程，每进来一个新样本，会与每个旧样本进行距离的计算，时间及空间复杂度较大，故不适用于大数据量（需要存储空间和计算时间）
•  k-近邻算法是基于实例的学习，使用算法时须保证存在接近实际数据的训练样本数据

python代码实现（含约会网站配对和手写数字识别）

import numpy as np
import operator

def createDataSet():
  group=np.array([[1.0,1.1],
                  [1.0,1.0],
                  [0.0,0.0],
                  [0.0,0.1]])
  labels=['A','A','B','B']
  return group,labels

def classify0(inX,dataSet,labels,k):#inX需要分类的测试集，dataSet已有的训练集,labels标签
  '''
  简易版KNN实现
  '''
  #计算距离
  dataSetSize=dataSet.shape[0]
  diffMat=np.tile(inX,(dataSetSize,1))-dataSet#将矩阵纵向粘贴复制
  sqDiffMat=diffMat**2
  sqDistances=sqDiffMat.sum(axis=1)
  distances=sqDistances**0.5
  #选择距离最小的k个点
  sortedDistIndicies=distances.argsort()#返回的是数组值从小到大的索引值
  classCount={}
  for i in range(k):
    voteIlabel=labels[sortedDistIndicies[i]]
    classCount[voteIlabel]=classCount.get(voteIlabel,0)+1#如果指定键不存在的话，返回0
  sortedClassCount=sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)#根据第一个域进行排序
  return sortedClassCount[0][0]
    
def file2matrix(filename):
  '''
  csv文件转成属性标签矩阵
  '''
  fr=open(filename)
  arrayOLines=fr.readlines()
  fr.close()
  numberOfLines=len(arrayOLines)
  returnMat=np.zeros((numberOfLines,3))
  classLabelVector=[]
  index=0
  for line in arrayOLines:
    line=line.strip()
    listFromLine=line.split('\t')
    returnMat[index,:]=listFromLine[0:3]
    classLabelVector.append(int(listFromLine[-1]))
    index+=1
  return returnMat,classLabelVector
  
def autoNorm(dataSet):
  '''
  归一化特征
  '''
  minVals=dataSet.min(0)#从列中选取最小值
  maxVals=dataSet.max(0)
  ranges=maxVals-minVals
  normDataSet=np.zeros(np.shape(dataSet))
  m=dataSet.shape[0]
  normDataSet=dataSet-np.tile(minVals,(m,1))
  normDataSet/=np.tile(ranges,(m,1))
  return normDataSet,ranges,minVals
  
def datingClassTest():
  hoRatio=0.10#设置测试集比率
  datingDataMat,datingLabels=file2matrix('.\machinelearninginaction\Ch02\datingTestSet2.txt')
  normMat,ranges,minVals=autoNorm(datingDataMat)
  m=normMat.shape[0]
  numTestVecs=int(m*hoRatio)
  errorCount=0.0
  for i in range(numTestVecs):
    classifierResult=classify0(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],3)
    print('分类器返回：%d;真实的结果：%d'%(classifierResult,datingLabels[i]))
    if classifierResult != datingLabels[i]:
      errorCount+=1
  print('总错误率：%f'%(errorCount/numTestVecs))


def img2vector(filename):
  '''
  将一个32*32的二进制图像矩阵转换成1*1024的向量
  '''
  returnVect=np.zeros((1,1024))
  fr=open(filename)
  for i in range(32):
    lineStr=fr.readline()
    for j in range(32):
      returnVect[0,32*i+j]=int(lineStr[j])
  return returnVect

import os
def handwriteClassTest():
  hwLabels=[]
  trainingFileList=os.listdir('./machinelearninginaction/Ch02/trainingDigits')
  m=len(trainingFileList)
  trainingMat=np.zeros((m,1024))
  for i in range(m):
    fileNameStr=trainingFileList[i]
    fileStr=fileNameStr.split('.')[0]
    classNumStr=int(fileStr.split('_')[0])
    hwLabels.append(classNumStr)
    trainingMat[i,:]=img2vector('./machinelearninginaction/Ch02/trainingDigits/%s'%fileNameStr)
  testFileList=os.listdir('./machinelearninginaction/Ch02/testDigits')
  errorCount=0.0
  mTest=len(testFileList)
  for i in range(mTest):
    fileNameStr=testFileList[i]
    fileStr=fileNameStr.split('.')[0]
    classNumStr=int(fileStr.split('_')[0])
    vectorUnderTest=img2vector('./machinelearninginaction/Ch02/testDigits/%s'%fileNameStr)
    classifierResult=classify0(vectorUnderTest,trainingMat,hwLabels,3)
    print('分类器返回：%d;真实的结果：%d'%(classifierResult,classNumStr))
    if classifierResult!=classNumStr:
      errorCount+=1.0
  print('错误总数：%d'%errorCount)
  print('总错误率：%f'%(errorCount/mTest))