机器学习实战笔记：KNN

1 KNN算法：

      优点：精度高，对异常值不敏感，无数据输入假定 

      缺点：计算复杂度高，空间复杂度高

      适用数据范围：数值型和标称型

      算法原理：先给定训练集A，当一个测试集样本t，选择t与A中距离最近的k个训练样本(k通常不大于20),选择这些训练样本中出现次数最多的标签作为t的新标签。

2 采用R实现的代码：

library(hash)
KNN=function(testVec,trainMat,trainLables,k){#分类算法
  #testVec=c(0,0);
  #trainMat=matrix(c(1,1.1,1,1,0,0,0,0.1),4,2,byrow=T);
  #trainLables=c('A','A','B','B');
  #k=3;
  testMat=matrix(testVec,nrow(trainMat),length(testVec));
  diffMat=testMat-trainMat;
  #sqDiffMat=diffMat%*%t(diffMat);
  #digEle=diag(sqDiffMat);
  #distances=sqrt(digEle);
  sqDiffMat=diffMat**2;
  distances=rowSums(sqDiffMat);
  sortedDist=order(distances);
  classCount=hash();#hash函数
  for (i in 1:k){
    #i=2;
    label=as.character(trainLables[sortedDist[i]]);
    if(has.key(label,classCount)){#如果label存在于hash中
      num=classCount[[label]]+1;
    }else{
      num=1;
    }
    classCount[label]=num;
    #cat(i,label,num,'\n')
  }
  KLabels=values(classCount);
  a=which(KLabels==max(KLabels));
  names(a);
}
autoNorm=function(data){#归一化，这里是三列数据
  max1=max(data[,1]);
  min1=min(data[,1]);
  max2=max(data[,2]);
  min2=min(data[,2]);
  max3=max(data[,3]);
  min3=min(data[,3]);
  minMat=matrix(c(min1,min2,min3),nrow(data),3,byrow=T);
  range1=max1-min1;
  range2=max2-min2;
  range3=max3-min3;
  normData=data-minMat;
  normData=normData/matrix(c(range1,range2,range3),nrow(data),3,byrow=T);
  normData;
}
#主程序，这里用的是《机器学习实战》第二章里的约会数据前50行
datingData=read.csv("datingTestSet2.tx",sep='\t',header=F);#数据集格式：40920  8.326976	0.953952	3前三个是特征，最后一个是分类
NormData=autoNorm(datingData[,1:3]);#特征的归一化
testVec=c(65000,10,1)#测试样本特征
testLabels=1;#测试样本分类号
label=KNN(testVec,NormData,datingData[,4],3);#测试样本的预测标号
as.numeric(label)==testLabels;#若预测成功则返回T

3 机器学习实战的python代码注释，由于不怎么会python注释一下，以备后查。

from numpy import *
import operator#运算符模块
from os import listdir
import time
def classify0(inX, dataSet, labels, k):#kNN分类器
    dataSetSize = dataSet.shape[0]#行数
    diffMat = tile(inX, (dataSetSize,1)) - dataSet#tile将inX扩充为dataSetSize行1倍inX列的矩阵，
    sqDiffMat = diffMat**2#每个元素平方相当于multiply(diffMat,diffMat)
    sqDistances = sqDiffMat.sum(axis=1)#axis=0表示列方向相加，axis=1表示行方向相加
    distances = sqDistances**0.5#开方
    sortedDistIndicies = distances.argsort()#.argsort对数组升序排序     
    classCount={}#字典map         
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1#map::get(key,default=None)若key没在map里则返回default
    sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)#map::iteritems()返回键值对的迭代器，items()返回键值对元素，operator.itemgetter(1)指操作的对象是第二个域即value，reverse是否逆序，sorted是排序生成新的序列
    return sortedClassCount[0][0]

def createDataSet():
    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels = ['A','A','B','B']
    return group, labels

def file2matrix(filename):#提取'\t'为分隔符文件的数据
    fr = open(filename)#只读方式打开文件
    numberOfLines = len(fr.readlines())#对于结构化文件可以读取行数        
    returnMat = zeros((numberOfLines,3))#全零矩阵
    classLabelVector = []#空list  
    fr = open(filename)#
    index = 0
    for line in fr.readlines():#readlines读取整个文件并以行构成一个列表，每行作为for的一个循环
        line = line.strip()#删除开头和结尾处的空白符（包括'\n', '\r',  '\t',  ' ')
        listFromLine = line.split('\t')#以\t为分割，返回一个list
        returnMat[index,:] = listFromLine[0:3]#替代每行
        classLabelVector.append(int(listFromLine[-1]))#使用负下标选取最后一列
        index += 1
    return returnMat,classLabelVector
    
def autoNorm(dataSet):#归一化，矩阵化操作
    minVals = dataSet.min(0)#返回最高维的最小值，注意数组a.shape返回(2,3,4)表示最底层数组4个元素，然后3个一维数组，2个二维数组，所以这里最高维指2那个#这里假设dataSet是1000行3列的数组，那么min(0)返回三列的最小值
    maxVals = dataSet.max(0)
    ranges = maxVals - minVals
    normDataSet = zeros(shape(dataSet))#生成一个和dataset大小一致的全零数组
    m = dataSet.shape[0]#返回最高维的元素数目
    normDataSet = dataSet - tile(minVals, (m,1))
    normDataSet = normDataSet/tile(ranges, (m,1))#归一化
    return normDataSet, ranges, minVals#返回归一化矩阵，max-min,min
   
def datingClassTest():#约会数据测试
    hoRatio = 0.50#测试集的比例
    datingDataMat,datingLabels = file2matrix('datingTestSet2.txt')#加载数据
    normMat, ranges, minVals = autoNorm(datingDataMat)
    m = normMat.shape[0]#二维矩阵返回行数
    numTestVecs = int(m*hoRatio)#测试集大小
    errorCount = 0.0
    for i in range(numTestVecs):
        classifierResult = classify0(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],3)#1~numTestVecs行是测试集,numTestVecs~m行是训练集
        print "the classifier came back with: %d, the real answer is: %d" % (classifierResult, datingLabels[i])
        if (classifierResult != datingLabels[i]): errorCount += 1.0
    print "the total error rate is: %f" % (errorCount/float(numTestVecs))
    print errorCount#打印错误率
    
def img2vector(filename):#32×32维的图片矩阵用1×1024的向量表示
    returnVect = zeros((1,1024))
    fr = open(filename)
    for i in range(32):
        lineStr = fr.readline()
        for j in range(32):
            returnVect[0,32*i+j] = int(lineStr[j])
    return returnVect

def handwritingClassTest():#手势识别测试程序
    start=time.clock()
    hwLabels = []
    trainingFileList = listdir('trainingDigits') #import os里的listdir是列出目录下的文件名 #训练集
    m = len(trainingFileList)
    trainingMat = zeros((m,1024))#m×1024维的全零矩阵
    for i in range(m):
        fileNameStr = trainingFileList[i]#获取文件名，如9_45.txt表示该图片分类是9，它是数字9的第45个实例
        fileStr = fileNameStr.split('.')[0] #以'.'分割字符串，并返回'.'前的子串
        classNumStr = int(fileStr.split('_')[0])#返回'_'前的子串
        hwLabels.append(classNumStr)#分类号
        trainingMat[i,:] = img2vector('trainingDigits/%s' % fileNameStr)
    testFileList = listdir('testDigits')#测试集
    errorCount = 0.0
    mTest = len(testFileList)
    for i in range(mTest):
        fileNameStr = testFileList[i]
        fileStr = fileNameStr.split('.')[0]     #take off .txt
        classNumStr = int(fileStr.split('_')[0])
        vectorUnderTest = img2vector('testDigits/%s' % fileNameStr)#字符串格式化拼接出测试集中文件的相对路径
        classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3)
        print "the classifier came back with: %d, the real answer is: %d" % (classifierResult, classNumStr)
        if (classifierResult != classNumStr): errorCount += 1.0
    print "\nthe total number of errors is: %d" % errorCount
    print "\nthe total error rate is: %f" % (errorCount/float(mTest))
    print("Time used:",time.clock()-start)