机器学习实战K-近邻算法

k-近邻算法
优点：精度高、对异常值不敏感、无数据输入假定。
缺点：计算复杂度高、空间复杂度高。
适用数据范围：数值型和标称型。
工作原理：存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。
k-近邻算法的一般流程
(1) 收集数据：可以使用任何方法。
(2) 准备数据：距离计算所需要的数值，最好是结构化的数据格式。
(3) 分析数据：可以使用任何方法。
(4) 训练算法：此步骤不适用于k-近邻算法。
(5) 测试算法：计算错误率。
(6) 使用算法：首先需要输入样本数据和结构化的输出结果，然后运行k-近邻算法判定输入数据分别属于哪个分类，最后应用对计算出的分类执行后续的处理。
1-1 实施kNN算法
该函数的功能是使用k-近邻算法将每组数据划分到某个类中，其伪代码如下：
对未知类别属性的数据集中的每个点依次执行以下操作：
(1) 计算已知类别数据集中的点与当前点之间的距离；
(2) 按照距离递增次序排序；
(3) 选取与当前点距离最小的k个点；
(4) 确定前k个点所在类别的出现频率；
(5) 返回前k个点出现频率最高的类别作为当前点的预测分类。

k-近邻算法

def classify0(inX,dataSet,labels,k):
    #numpy函数shape[0]返回dataSet的行数【shape[0]：表示矩阵的行数；shape[1]：表示矩阵的列数】
    dataSetSize = dataSet.shape[0]
    #在行向量方向上inX复制dataSetSize次，在列向量方向上复制1次【Numpy的 tile() 函数，就是将原矩阵横向、纵向地复制】
    #也就是将分类样本复制为训练样本相同的矩阵结构，再和训练集样本矩阵进行计算，得到每个轴距
    diffMat = tile(inX,(dataSetSize,1)) - dataSet
    #对diffMat进行平方运算
    sqDiffMat = diffMat**2
    #将sqdiffMat矩阵的各行相加
    #sum(对象，axis=0/1)或者对象.sum(axis=0/1):axis=0代表对象的所有元素进行相加返回一个结果值;axis=0 同行的元素相加，每行返回一个值，通常默认的，且不用写出来。
    #对象.sum(axis=1)将矩阵的每一行相加
    sqDistances = sqDiffMat.sum(axis=1)
    #开根号
    distances = sqDistances**0.5
    #对距离进行从小到大排序
    sortedDistIndicies = distances.argsort()
    #定义一个空字典
    classCount = {}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
        #classCount[voteIlabel]：统计classCount中每个标签出现的次数
        #dict.get(voteIlabel,0)：返回指定键的值，如果键不在字典中返回默认值 None 或者设置的默认值，在classCount字典中，key为voteIlabel，value为标签出现次数
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
    #key=operator.itemgetter(0)：根据字典的键进行排序
    #key=operator.itemgetter(1)：根据字典的值进行排序
    #reverse降序排序字典
    #返回次数最多的标签
    return sortedClassCount[0][0]

1-2 示例：使用 k-近邻算法改进约会网站的配对效果
(1) 收集数据：提供文本文件。
(2) 准备数据：使用Python解析文本文件。
(3) 分析数据：使用Matplotlib画二维扩散图。
(4) 训练算法：此步骤不适用于k-近邻算法。
(5) 测试算法：使用海伦提供的部分数据作为测试样本。
测试样本和非测试样本的区别在于：测试样本是已经完成分类的数据，如果预测分类
与实际类别不同，则标记为一个错误。
(6) 使用算法：产生简单的命令行程序，然后海伦可以输入一些特征数据以判断对方是否
为自己喜欢的类型。
1-2-1 准备数据：从文本文件中解析数据
将下面的代码增加到kNN.py中
将文本记录转换为NumPy的解析程序

#从文本文件中解析数据
def file2matrix(filename):
    love_dictionary = {'largeDoses':3, 'smallDoses':2, 'didntLike':1}
    fr = open(filename)
    #读取文件所有内容
    arrayOLines = fr.readlines()
    #得到文件行数
    numberOfLines = len(arrayOLines)
    #返回的特征矩阵，生成一个numberOfLines*3维的零矩阵,1000*3维矩阵
    returnMat = zeros((numberOfLines, 3))
    #返回的分类标签向量
    classLabelVector = []
    index = 0
    for line in arrayOLines:
        #s.strip(rm)，当rm空时,默认删除空白符(包括'\n','\r','\t',' ')
        line = line.strip()
        #使用s.split(str="",num=string,cout(str))将字符串根据'\t'分隔符进行切片。
        listFromLine = line.split("\t")
        #将数据前三列提取出来,存放到returnMat的NumPy矩阵中,也就是特征矩阵
        returnMat[index,:] = listFromLine[0:3]
        if(listFromLine[-1].isdigit()):
            classLabelVector.append(listFromLine[-1])
        else:
            classLabelVector.append(love_dictionary.get(listFromLine[-1]))
        index += 1
    return returnMat,classLabelVector

1-2-2分析数据：使用 Matplotlib 创建散点图

>>> import matplotlib
>>> import matplotlib.pyplot as plt
>>> plt.rcParams['font.sans-serif']=['SimHei']
>>> plt.rcParams['axes.unicode_minus']=False
>>> fig = plt.figure()
>>> ax = fig.add_subplot(111)
>>> ax.scatter(datingDataMat[:,1], datingDataMat[:,2])
<matplotlib.collections.PathCollection object at 0x0000026AEEE24F40>
>>> plt.xlabel("玩视频游戏所耗时间百分比",fontsize=15,color="blue")
Text(0.5, 0, '玩视频游戏所耗时间百分比')
>>> plt.ylabel("每周消耗的冰淇淋公升数",fontsize=15,color="blue")
Text(0, 0.5, '每周消耗的冰淇淋公升数')
>>> plt.show()

由于没有使用样本分类的特征值，我们很难从图2-3中看到任何有用的数据模式信息。一般来说，我们会采用色彩或其他的记号来标记不同样本分类，以便更好地理解数据信息。Matplotlib库提供的scatter函数支持个性化标记散点图上的点。
出现异常，先标记以下

1-2-3 准备数据：归一化数值

采用min-max归一化方法

#归一化特征值
"""
min(0)返回该矩阵中每一列的最小值

min(1)返回该矩阵中每一行的最小值

max(0)返回该矩阵中每一列的最大值

max(1)返回该矩阵中每一行的最大值
"""
def autoNorm(dataSet):
    #获得数据的最小值，minVals为1*3维矩阵
    minVals = dataSet.min(0)
    #获得数据的最大值，maxVals为1*3维矩阵
    maxVals = dataSet.max(0)
    #获得最大值和最小值的范围,range为1*3维矩阵
    ranges = maxVals - minVals
    #shape(dataSet)返回dataSet的矩阵行列数
    normDataSet = zeros(shape(dataSet))
    #返回dataSet的行数
    m = dataSet.shape[0]
    #原始值减去最小值
    normDataSet = dataSet -tile(minVals,(m,1))
    #进行归一化计算
    normDataSet = normDataSet/tile(ranges,(m,1))
    #返回归一化数据结果，数据范围，最小值
    return normDataSet,ranges,minVals

1-2-4 分类器针对约会网站的测试代码

#测试算法：作为完成程序验证分类器
#分类器针对约会网站的测试代码
def datingClassTest():
    hoRatio = 0.50
    datingDataMat,datingLabels = file2matrix("datingTestSet.txt")
    #归一化，得到归一矩阵、差值矩阵、最小值矩阵和行数
    normMat, ranges, minVals = autoNorm(datingDataMat)
    m = normMat.shape[0]
    #取0.5作为测试数据
    numTestVecs = int(m*hoRatio)
    #错误统计
    errorCount = 0.0
    for i in range(numTestVecs):
        classifierResult = classify0(normMat[i, :], normMat[numTestVecs:m, :], datingLabels[numTestVecs:m], 3)
        print("the classifier came back with: %d, the real answer is: %d" % (classifierResult, datingLabels[i]))
        if (classifierResult != datingLabels[i]): errorCount += 1.0
    print("the total error rate is: %f" % (errorCount / float(numTestVecs)))

1-2-5 约会网站预测函数

def classifyPerson():
    resultList = ['一点都不喜欢', '魅力一般的人', '极具魅力']
    percentTats = float(input("玩游戏所耗时间百分比?"))
    ffMiles = float(input("每年获得的飞行常客里程数?"))
    iceCream = float(input("每周消费的冰激淋公升数?"))
    datingDataMat, datingLabels = file2matrix('datingTestSet2.txt')
    normMat, ranges, minVals = autoNorm(datingDataMat)
    inArr = array([ffMiles, percentTats, iceCream, ])
    classifierResult = classify0((inArr - minVals)/ranges, normMat, datingLabels, 3)
    print("你是否会喜欢这样的人: %s" % resultList[int(classifierResult) - 1])

1-3 手写识别系统
示例：使用k-近邻算法的手写识别系统
(1) 收集数据：提供文本文件。
(2) 准备数据：编写函数classify0()，将图像格式转换为分类器使用的list格式。
(3) 分析数据：在Python命令提示符中检查数据，确保它符合要求。
(4) 训练算法：此步骤不适用于k-近邻算法。
(5) 测试算法：编写函数使用提供的部分数据集作为测试样本，测试样本与非测试样本的区别在于测试样本是已经完成分类的数据，如果预测分类与实际类别不同，则标记为一个错误。
(6) 使用算法：本例没有完成此步骤，若你感兴趣可以构建完整的应用程序，从图像中提取数字，并完成数字识别，美国的邮件分拣系统就是一个实际运行的类似系统。
1-3-1 准备数据：将图像转换为测试向量

def img2vector(filename):   
#创建一个1*1024的数组
    returnVect = zeros((1, 1024))
    fr = open(filename)
    #循环读出文件的前32行,readline() 方法用于从文件读取整行，包括 "\n" 字符。
    for i in range(32):
        lineStr = fr.readline()
        #将每行的头32个字符值存储在NumPy数组中
        for j in range(32):
            returnVect[0, 32*i+j] = int(lineStr[j])
    return returnVect

.1-3-2 测试算法：使用 k-近邻算法识别手写数字

def handwritingClassTest():
    hwLabels = []
    #os.listdir() 方法用于返回指定的文件夹包含的文件或文件夹的名字的列表。
    trainingFileList = listdir('trainingDigits')           
    m = len(trainingFileList)
    trainingMat = zeros((m, 1024))
    for i in range(m):
        fileNameStr = trainingFileList[i]
        fileStr = fileNameStr.split('.')[0]  
        classNumStr = int(fileStr.split('_')[0])
        hwLabels.append(classNumStr)
        trainingMat[i, :] = img2vector('trainingDigits/%s' % fileNameStr)
    testFileList = listdir('testDigits')       
    errorCount = 0.0
    mTest = len(testFileList)
    for i in range(mTest):
        fileNameStr = testFileList[i]
        fileStr = fileNameStr.split('.')[0]   
        classNumStr = int(fileStr.split('_')[0])
        vectorUnderTest = img2vector('testDigits/%s' % fileNameStr)
        classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3)
        print("the classifier came back with: %d, the real answer is: %d" % (classifierResult, classNumStr))
        if (classifierResult != classNumStr): errorCount += 1.0
    print("\nthe total number of errors is: %d" % errorCount)
    print("\nthe total error rate is: %f" % (errorCount/float(mTest)))