机器学习实战之KNN算法学习记录

机器学习实战这本书是基于python的，如果我们想要完成python开发，那么python的开发环境必不可少：

（1）python3.6.5, windows10 64位，这是我用的python版本

（2）numpy 1.14.0, windows10 64位，这是python的科学计算包，是python的一个矩阵类型，包含数组和矩阵，提供了大量的矩阵处理函数，使运算更加容易，执行更加迅速。

（3）matplotlib 2.1.2，windows10 64位，在下载该工具时，一定要对应好python的版本，处理器版本，matplotlib可以认为是python的一个可视化工具

    好了，如果你已经完成了上述的环境配置，下面就可以开始完成真正的算法实战了。

 

 

一，k近邻算法的工作原理：

     存在一个样本数据集，也称作训练数据集，并且样本集中每个数据都存在标签，即我们知道样本集中每个数据与所属分类的对应关系。当输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似的数据的分类标签。一般来水，我们只选择样本数据集中最相似的k个数据（通常k不大于20），再根据多数表决原则，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

     k近邻算法的一般流程：
（1）收集数据：可以采用公开的数据源

（2）准备数据：计算距离所需要的数值

（3）分析数据：剔除垃圾信息

（4）测试算法：计算错误率

（5）使用算法：运用在实际中，对实际情况进行预测

二，算法具体实施过程

 

import importlib
from numpy import *
import operator #操作符函数
from os import listdir #os.listdir() 方法用于返回指定的文件夹包含的文件或文件夹的名字的列表
import matplotlib
import matplotlib.pyplot as plt


"""
函数说明:kNN算法,分类器

Parameters:
    inX - 用于分类的数据(测试集)
    dataSet - 用于训练的数据(训练集)
    labes - 分类标签
    k - kNN算法参数,选择距离最小的k个点
Returns:
    sortedClassCount[0][0] - 分类结果

Modify:
    2018-04-19
"""
#-------------------------构建分类器-------------------------------
def classify0(inX, dataSet, labels, k):#用于分类的输入向量inX，输入的训练样本集是dataSet，标签向量是labels，K表示用于选择最近邻居的数目
    # numpy中shape[0]返回数组的行数，shape[1]返回列数
    dataSetSize = dataSet.shape[0]
    # 将intX在横向重复dataSetSize次，纵向重复1次
    # 例如intX=([1,2])--->([[1,2],[1,2],[1,2],[1,2]])便于后面计算
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet
    # print(diffMat)
    # 二维特征相减后乘方
    sqDiffMat = diffMat ** 2
    # print(sqDiffMat)
    # 计算距离 axis=1以后就是将一个矩阵的每一行向量相加 sum()所有元素相加，sum(0)列相加，sum(1)行相加
    sqDistances = sqDiffMat.sum(axis=1)
    # print(sqDistances)
    distances = sqDistances ** 0.5 # 开方，计算出距离
    # print(distances)
    # 返回distance中元素从小到大排序后的索引
    sortedDistIndicies = distances.argsort()
    # print("sortDistance:", sortedDistIndicies)
    classCount = {} #定一个记录类别次数的字典
    for i in range(k):
        # 取出前k个元素的类别
        voteIlabel = labels[sortedDistIndicies[i]]
        # print("第 %d 个voteLabel= %s ", i, voteIlabel)

        # dict.get(key,default=None),字典的get()方法,返回指定键的值,如果值不在字典中返回默认值。
        # 计算类别次数
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
        # print(classCount)
    # key=operator.itemgetter(1)根据字典的值进行排序
    # key=operator.itemgetter(0)根据字典的键进行排序
    # reverse降序排序字典
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
    # 结果sortedClassCount = [('类别', 2), ('爱情片', 1)]
    return sortedClassCount[0][0]


def createDataSet():#创建数据
    group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])# 四组二维特征
    labels = ['A', 'A', 'B', 'B'] # 四组对应的标签
    return group, labels

#---------------1 将text文本数据转化为分类器可以接受的格式---------------
def file2matrix(filename):# 读取数据 返回二维数组和标签列表 将文本记录转换为NumPy的解析程序
    love_dictionary = {'largeDoses': 3, 'smallDoses': 2, 'didntLike': 1}#极具魅力：3 一般魅力：2 不喜欢：3
    fr = open(filename) # 打开文件
    # readlines() 方法用于读取所有行(直到结束符 EOF)并返回列表 每一行是列表中的一个元素
    arrayOLines = fr.readlines()
    # print(arrayOLines)
    numberOfLines = len(arrayOLines)  # 读取文件一共多少行
    # print(numberOfLines)
    returnMat = zeros((numberOfLines, 3))  # 返回的NumPy矩阵,解析完成的数据:numberOfLines行,3列
    # print(returnMat)
    classLabelVector = []  # 返回的分类标签向量
    index = 0 # 行的索引值
    for line in arrayOLines:
        # strip(rm) 方法用于移除字符串头尾指定的字符 当rm空时,默认删除空白符(包括'\n','\r','\t',' ')
        line = line.strip()
        # 使用s.split(str="",num=string,cout(str))将字符串根据'\t'分隔符进行切片。
        listFromLine = line.split('\t')
        # 将数据前三列提取出来,存放到returnMat的NumPy矩阵中,也就是特征矩阵
        returnMat[index, :] = listFromLine[0:3]
        if (listFromLine[-1].isdigit()): #  isdigit() 方法检测字符串是否只由数字组成
            classLabelVector.append(int(listFromLine[-1])) # 将列表的最后一列存储到向量classLabelVector中
        else:
            classLabelVector.append(love_dictionary.get(listFromLine[-1]))
        index += 1
    return returnMat, classLabelVector #返回特征二维数组和标签列表

#----------------2 准备数据：归一化----------------------------------------------
# 对数据进行处理，归一化 应用的公式为：newvalue = (oldvalue-min)/(max-min)
def autoNorm(dataSet): # 归一化特征值
    # 寻找每一列里面的最小值
    minVals = dataSet.min(0)
    # 寻找每一列里面的最大值
    maxVals = dataSet.max(0)
    # 计算最大值与最小值之间的差
    ranges = maxVals - minVals
    # shape(dataSet)返回dataSet的矩阵的行列数
    normDataSet = zeros(shape(dataSet))
    # 返回dataSet的行数 即获取dataSet第一维度的大小
    m = dataSet.shape[0]
    # 将dataSet的每一行的对应列减去minVals中对应列的最小值
    normDataSet = dataSet - tile(minVals, (m, 1))
    # 除以最大值和最小值的差，得到归一化的数据
    # 归一化，公式newValue=(value-minvalue)/(maxVal-minVal)
    normDataSet = normDataSet / tile(ranges, (m, 1))
    return normDataSet, ranges, minVals

#-------------------------3 测试算法----------------------------------------------
def datingClassTest():# 测试算法 分类器针对约会网站的测试代码
    hoRatio = 0.10  # 设定用来测试的样本占比
    datingDataMat, datingLabels = file2matrix('./datingTestSet2.txt')  # load data setfrom file
    # 数据归一化，返回归一化后的矩阵，数据范围(最大最下的差)，数据最小值
    normMat, ranges, minVals = autoNorm(datingDataMat)
    # 获得nornMat的行数 即第一维度的大小
    m = normMat.shape[0]
    # 百分之十的测试数据的个数
    numTestVecs = int(m * hoRatio) #测试数据个数
    # 分类错误计数
    errorCount = 0.0
    for i in range(numTestVecs):
        # 利用分类函数classify0获取测试样本数据分类结果
        # 前numTestVecs个数据作为测试集，后m-numTestVecs个数据作为训练集
        classifierResult = classify0(normMat[i, :], normMat[numTestVecs:m, :],
                                     datingLabels[numTestVecs:m], 3)
        # 打印预测结果和实际标签
        print("the classifier came back with: %d, the real answer is: %d" % (classifierResult, datingLabels[i]))
        # 如果预测输出不等于实际标签,错误数增加1.0
        if (classifierResult != datingLabels[i]):
            errorCount += 1.0
    print(errorCount,numTestVecs)
    # 打印最后的误差率
    print("the total error rate is: %f" % (errorCount / float(numTestVecs)))


#-------------------------4 构建可手动输入系统------------------------------------
def classifyPerson():#用户输入相关数据，进行预测
    #定义预测结果
    resultList=['not at all','in small does','in large does']
    #在python3.x中，已经删除raw_input()，取而代之的是input()
    percentTats=float(input('percentage of time spent playing video games?'))
    print("222222222222222")
    ffMiles=float(input('frequent filer miles earned per year?'))
    print("111111111111111")
    iceCream=float(input('liters of ice cream consumed per year?'))
    datingDataMat,datingLabels=file2matrix('datingTestSet2.txt')
    normMat,ranges,minValues=autoNorm(datingDataMat)
    #将输入的数值放在数组中
    inArr=array([ffMiles,percentTats,iceCream])
    classifierResult=classify0((inArr-minValues)/ranges,normMat,datingLabels,3)
    print("you will probably like this person:",resultList[classifierResult-1])




#-----手写识别系统----------------1 将图像转化为测试向量-------------------------
#图像大小32*32，转化为1024的向量
def img2vector(filename):
    returnVect = zeros((1, 1024))
    fr = open(filename)
    for i in range(32):
        # 每次读取一行
        lineStr = fr.readline()
        for j in range(32):
            # 通俗讲：就是根据首地址(位置)的偏移量计算出当前数据存放的地址(位置)
            returnVect[0, 32 * i + j] = int(lineStr[j])
    return returnVect

#------手写识别系统--------------2 测试代码--------------------------------------
def handwritingClassTest():
    # 测试集的labels
    hwLabels = []
    # 返回trainingDigits目录下的文件名，使用前需导入from os import listdir
    trainingFileList = listdir('digits/trainingDigits')  # load the training set
    # 获取列表的长度，返回文件夹下文件的个数
    m = len(trainingFileList)
    # 创建一个m*1024的矩阵用于存储训练数据，初始化训练的Mat矩阵的测试集
    trainingMat = zeros((m, 1024))
    # 从文件名中解析出训练集的类别
    for i in range(m):
        # 获取当前行的字符串
        fileNameStr = trainingFileList[i]
        # 将字符串按照'.'分开，并将前一部分放于fileStr
        fileStr = fileNameStr.split('.')[0]  # take off .txt
        # 将fileStr按照'_'分开，并将前一部分存于classNumStr
        classNumStr = int(fileStr.split('_')[0])
        # 将获取的类别(标签值)添加到hwLabels(列表)中
        hwLabels.append(classNumStr)
        # 解析目录中的每一个文件，将图像转化为向量，最后存入训练矩阵中
        # 将每一个文件的1*1024数据存储到trainingMat矩阵中
        trainingMat[i, :] = img2vector('digits/trainingDigits/%s' % fileNameStr)
    # 返回testDigits(测试数据)目录下的文件列表
    testFileList = listdir('digits/testDigits')
    errorCount = 0.0
    mTest = len(testFileList)
    # 从文件中解析出测试集的类别并进行分类测试
    for i in range(mTest):
        # 获取第i行的文件名
        fileNameStr = testFileList[i]
        # 将字符串按照'.'分开，并将前一部分放于fileStr
        fileStr = fileNameStr.split('.')[0]  # take off .txt
        # 将fileStr按照'_'分开，并将前一部分存于classNumStr
        classNumStr = int(fileStr.split('_')[0])
        # 获得测试集的1*1024向量用于训练,将图像转化为向量
        vectorUnderTest = img2vector('digits/testDigits/%s' % fileNameStr)
        # 分类预测,获得预测结果
        classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3)
        # 打印预测结果和实际结果
        print("the classifier came back with: %d, the real answer is: %d" % (classifierResult, classNumStr))
        if (classifierResult != classNumStr):
            ##预测错误，错误数加1次
            errorCount += 1.0
    # 打印错误数和错误率
    print("\n the total number of errors is: %d" % errorCount)
    print("\n the total error rate is: %f" % (errorCount / float(mTest)))


def showDataSet(datingDataMat,datingLabels):
    fig = plt.figure()
    ax = fig.add_subplot(111) #111:将画布分割成1行1列，图像画在从左到右从上到下的第1块
    # X[:,0]就是取所有行的第0个数据, X[:,1] 就是取所有行的第1个数据。
    # ax.scatter(datingDataMat[:,1],datingDataMat[:,2])
    ax.scatter(datingDataMat[:,0], datingDataMat[:,1], c=15.0 * array(datingLabels),
               s=15.0 * array(datingLabels),label=u'散点图')  # #scatter(x,y,大小,颜色)
    plt.rcParams['font.sans-serif'] = ['SimHei'] #用来正常显示中文标签
    plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号
    plt.legend(loc='upper left')
    plt.xlabel(u"玩视频游戏所耗得时间比")
    plt.ylabel(u'每年获取的飞行常客里程数')
    plt.show()

# def test():

    # group,lables = createDataSet()
    # print("\n")
    # print(group.shape,"\n",lables)
    # print(classify0([1,1],group,lables,3))
    # DatingDataMat,DatingLabels = file2matrix('datingTestSet2.txt')
    # print(datingDataMat,"\n",datingLabels)
    # 展示数据
    # showDataSet(DatingDataMat,DatingLabels)

    # """4、归一化特征值"""
    # normMat, ranges,minVals = autoNorm(datingDataMat)
    # print(normMat,"\n----------------\n",ranges,"\n----------------\n",minVals)

    #分类器针对约会网站的测试 1、2、3、4
    # datingClassTest()

"""约会网站"""
# classifyPerson()

"""识别手写数字"""
# testVector = img2vector('digits/testDigits/0_13.txt')
# print(testVector[0, 0:31])
# print(testVector[0,32:63])
handwritingClassTest()