python 学习笔记（四）

最新推荐文章于 2022-10-03 16:31:19 发布

书生丶丶

最新推荐文章于 2022-10-03 16:31:19 发布

阅读量714

点赞数 1

文章标签： python 学习机器学习

本文链接：https://blog.csdn.net/qq_35021992/article/details/125590638

版权

文章目录

说明
K- 临近算法
总结

说明

之前前看得书是图像处理，上周已经结束了，后面开始进入《机器学习实战》这本书的学习。书里提供了代码，后面就以书中代码为学习目标。去学习机器学习相关算法，学习相关代码的实现，理解书中给出的代码。

这个是书中代码讲解视频，里面说了怎么下载书中的代码。（之前照着书里敲出来有问题，所以后面才下载的代码）

代码是一张是一个文件，所以看得时候我们把看得对应的代码摘出来，不然一张的代码开始看起来就很容易让人头大。 一点个人建议。

K- 临近算法

算法具体原理参考《机器学习实战》学习笔记（一）
下面这部分代码主要是将我们现有的数据存到两个表里，方便之后使用。

训练样本集与标签存储

from numpy import *
#import numpy，如果使用numpy的属性都需要在前面加上numpy
#from numpy import *，则不需要加入numpy

import operator
'''
operator这个模块它包含了一系列高效的Python内置操作，
比如说对象之间的对比操作，逻辑操作，数学操作和序列操作。
'''
from os import listdir
'''
listdir函数在模块os中，主要功能是可以列出给定目录的文件名。
'''
def createDataSet():
    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels = ['A','A','B','B']
    return group, labels

group,labels = createDataSet()
print(group)
print(labels)

输出如下：

[[1.  1.1]
 [1.  1. ]
 [0.  0. ]
 [0.  0.1]]
['A', 'A', 'B', 'B']

将数据在散点图中表示出来


from matplotlib import pyplot as plt
#引入这个绘图库
plt.scatter(group[:,0],group[:,1])
plt.show()

在这里插入图片描述

K-近邻算法构造分类器

'''
K-近邻算法构造分类器

inx为分类的输人向量，输人的训练样本集为dataSet,标签向量为labels ，
K 表示用于选择最近邻居的数目.
其中标签向量的元素数目和矩阵dataSet的列数相同,个人觉得这个应该说的是；列数，
因为下面代码，有对行数进行扩展。
'''
def classify0(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]
    #计算出训练样本的列数,shape参数第一个是行第二个是列

    diffMat = tile(inX, (dataSetSize,1)) - dataSet

    #使用的是numpy包里的title函数，函数作用是按照某个方向复制元素，
    #这里是将输入向量复制训练样本的行数，还是一列。

    #在这里将扩展后的输入数据与训练样本做差，这里是列表对应元素进行直接相接。
    #这个比C语言方便

    sqDiffMat = diffMat**2
    #差值取平方
    sqDistances = sqDiffMat.sum(axis=1)
    #矩阵的行向量相加
    distances = sqDistances**0.5
    #将加的结果开平方
    #这几行代码就是在计算欧式距离，

    sortedDistIndicies = distances.argsort()     
    #argsort的作用是对列表内的数据升序排列，
    #并且给出按升序排列的数据在列表中的位置，相当于将列表的数据，按照从小到大
    #依次输出对应的索引
    
    classCount={}          
    #创建字典存储名称

    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        #之前排序给出了由近到远的排序，这里相当去是取前k个距离最近的数据名称
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
        #get函数是返回字典classCount中voteIlabel元素对应的值,若无，则进行初始化，0为初始化
        #后赋的值。
        #这里是统计前k个中出现的次数，
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
    #python字典中还存在items()方法。两者有些许区别。
    #items方法是可以将字典中的所有项，以列表方式返回。
    #iteritems方法与items方法相比作用大致相同，只是它的返回值不是列表，而是一个迭代器。
    #返回一个可调用对象，用于从运算对象中获取元素，其实是采用运算对象的_getitem_()方法。如果指定了多个项目，返回一个元组形式。
    #operator.itemgetter函数获取的不是值，而是定义了一个函数，通过该函数作用到对象上才能获取值。

    '''
    list = sorted(iterable, key=None, reverse=False)  
    其中，iterable 表示指定的序列，key 参数可以自定义排序规则；
    reverse 参数指定以升序（False，默认）还是降序（True）进行排序。
    sorted() 函数会返回一个排好序的列表。
    注意，key 参数和 reverse 参数是可选参数，即可以使用，也可以忽略。
    '''
    
    return sortedClassCount[0][0]
    #返回最合适的名称

result=classify0([0,0],group,labels,3)
print(result)

运行结果如下：
B

代码使用的是书中提供的，但由于Python版本变化，python3中iteritems()被items()代替了,所以代码要修改一下。

代码中最不好理解的是

sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)

他是调用了排序算法，然后传递的参数比较复杂。首先传递了字典中的所有项构成的列表，传递了一个获取值得函数，最后一个参数为选择排序的顺序是从大到小还是从小到大。

最好监控一下变量，查看一下变量值。

K-近邻算法改进约会网站

数据提取

解析数据，从现有文件得到数值。
代码如下：


def file2matrix(filename):
    fr = open(filename)
    
    #readlines可以按照行的方式把整个文件中的内容进行一次性读取，并且返回的是一个列表，
    #其中每一行的数据为一个元素。
    arrayOLines = fr.readlines()
    
    #计算有多少行数据
    numberOfLines = len(arrayOLines)
    
    #返回的NumPy矩阵,解析完成的数据:numberOfLines行,3列
    returnMat = zeros((numberOfLines,3))
    
    #创建分类标签向量
    classLabelVector = []
    index = 0
    
    #这里是以元素为循坏条件
    for line in arrayOLines:
        #s.strip(rm)，当rm空时,默认删除空白符(包括'\n','\r','\t',' ')
        #该方法只能删除开头或是结尾的字符，不能删除中间部分的字符。
        line = line.strip()
        #使用s.split(str="",num=string,cout(str))将字符串根据'\t'分隔符进行切片。
        listFromLine = line.split('\t')
        #将数据前三列提取出来,存放到returnMat的NumPy矩阵中,也就是特征矩阵
        returnMat[index,:] = listFromLine[0:3]
        #根据文本中标记的喜欢的程度进行分类,1代表不喜欢,2代表魅力一般,3代表极具魅力
        if listFromLine[-1] == 'didntLike':
        #append()方法将一个项目添加到列表的末尾
            classLabelVector.append(1)
        elif listFromLine[-1] == 'smallDoses':
            classLabelVector.append(2)
        elif listFromLine[-1] == 'largeDoses':
            classLabelVector.append(3)
        index += 1
    return returnMat, classLabelVector

#if __name__ == '__main__':
#打开的文件名
filename = r"D:\python\exercise_data\machinelearninginaction\Ch02\datingTestSet.txt"
#打开并处理数据
datingDataMat, datingLabels = file2matrix(filename)
print(datingDataMat)
print(datingLabels)

输出结果如下：在这里插入图片描述
代码没有很难理解的部分，主要的是循环变量的选择，非常巧妙

for line in arrayOLines:

直接提取出了每行的元素，便于后续的分解。

这部分代码实现的功能就是将数据文件提取出来，存储为程序便于计算的格式。

数据分析

将数据用绘制在图像中。

def showdatas(datingDataMat, datingLabels):
    #设置汉字格式
    font = FontProperties(fname=r"c:\windows\fonts\simhei.ttf", size=14)
    
    #将fig画布分隔成1行1列,不共享x轴和y轴,fig画布的大小为(13,8)
    #当nrow=2,nclos=2时,代表fig画布被分为四个区域,axs[0][0]表示第一行第一个区域
    # sharex 为ttrue时，子图共用x坐标
    fig, axs = plt.subplots(nrows=2, ncols=2,sharex=False, sharey=False, figsize=(13,8))

    numberOfLabels = len(datingLabels)
    LabelsColors = []
    #也是用标签向量中的各个量做循环变量
    for i in datingLabels:
        if i == 1:
            LabelsColors.append('black')
        if i == 2:
            LabelsColors.append('orange')
        if i == 3:
            LabelsColors.append('red')
    
    #画出散点图,以datingDataMat矩阵的第一(飞行常客例程)、第二列(玩游戏)数据画散点数据,散点大小为15,透明度为0.5
    axs[0][0].scatter(x=datingDataMat[:,0], y=datingDataMat[:,1], color=LabelsColors,s=15, alpha=.5)
    #设置标题,x轴label,y轴label
    #字符串前加 u，后面字符串以 Unicode 格式进行编码，一般用在中文字符串前面。
    axs0_title_text = axs[0][0].set_title(u'每年获得的飞行常客里程数与玩视频游戏所消耗时间占比',fontproperties=font)
    axs0_xlabel_text = axs[0][0].set_xlabel(u'每年获得的飞行常客里程数',fontproperties=font)
    axs0_ylabel_text = axs[0][0].set_ylabel(u'玩视频游戏所消耗时间占',fontproperties=font)
    #，setp()函数：设置对象属性或属性的取值要求、
    #  setp(obj, *args, **kwargs) args、**kwargs：需要设置的属性值。
    plt.setp(axs0_title_text, size=9, weight='bold', color='red') 
    plt.setp(axs0_xlabel_text, size=7, weight='bold', color='black') 
    plt.setp(axs0_ylabel_text, size=7, weight='bold', color='black')

    #画出散点图,以datingDataMat矩阵的第一(飞行常客例程)、第三列(冰激凌)数据画散点数据,散点大小为15,透明度为0.5
    axs[0][1].scatter(x=datingDataMat[:,0], y=datingDataMat[:,2], color=LabelsColors,s=15, alpha=.5)
    #设置标题,x轴label,y轴label
    axs1_title_text = axs[0][1].set_title(u'每年获得的飞行常客里程数与每周消费的冰激淋公升数',fontproperties=font)
    axs1_xlabel_text = axs[0][1].set_xlabel(u'每年获得的飞行常客里程数',fontproperties=font)
    axs1_ylabel_text = axs[0][1].set_ylabel(u'每周消费的冰激淋公升数',fontproperties=font)
    plt.setp(axs1_title_text, size=9, weight='bold', color='red') 
    plt.setp(axs1_xlabel_text, size=7, weight='bold', color='black') 
    plt.setp(axs1_ylabel_text, size=7, weight='bold', color='black')

    #画出散点图,以datingDataMat矩阵的第二(玩游戏)、第三列(冰激凌)数据画散点数据,散点大小为15,透明度为0.5
    axs[1][0].scatter(x=datingDataMat[:,1], y=datingDataMat[:,2], color=LabelsColors,s=15, alpha=.5)
    #设置标题,x轴label,y轴label
    axs2_title_text = axs[1][0].set_title(u'玩视频游戏所消耗时间占比与每周消费的冰激淋公升数',fontproperties=font)
    axs2_xlabel_text = axs[1][0].set_xlabel(u'玩视频游戏所消耗时间占比',fontproperties=font)
    axs2_ylabel_text = axs[1][0].set_ylabel(u'每周消费的冰激淋公升数',fontproperties=font)
    plt.setp(axs2_title_text, size=9, weight='bold', color='red') 
    plt.setp(axs2_xlabel_text, size=7, weight='bold', color='black') 
    plt.setp(axs2_ylabel_text, size=7, weight='bold', color='black')
    #设置图例
    didntLike = mlines.Line2D([], [], color='black', marker='.',
                      markersize=6, label='didntLike')
    smallDoses = mlines.Line2D([], [], color='orange', marker='.',
                      markersize=6, label='smallDoses')
    largeDoses = mlines.Line2D([], [], color='red', marker='.',
                      markersize=6, label='largeDoses')
    #添加图例
    axs[0][0].legend(handles=[didntLike,smallDoses,largeDoses])
    axs[0][1].legend(handles=[didntLike,smallDoses,largeDoses])
    axs[1][0].legend(handles=[didntLike,smallDoses,largeDoses])
    #显示图片
    plt.show()
# font_address = []
#查看字体位置
# for font in font_manager.fontManager.ttflist:
    #  if font.name == "Arial":
        #  print(font.name,"-",font.fname)
        # font_address= font.fname
# print(font_address)
# print(matplotlib.get_data_path()) 

showdatas(datingDataMat, datingLabels)

程序输出：
在这里插入图片描述
选择不同的数据组合方式，可以得到不同的效果。通过不同的数据组合，我们可以更加清楚的理解数据。

准备数据

归一化处理，在求取样本距离时，要进行做差，多个属性时，数字差值最大的属性对计算结果的影响最大。要是每个属性对计算结果的影响相同，就必须对数据进行归一化。

#归一化数据
def autoNorm(dataSet):
    #获得数据的最小值
    minVals = dataSet.min(0)
    maxVals = dataSet.max(0)
    #最大值和最小值的范围
    ranges = maxVals - minVals
    #shape(dataSet)返回dataSet的矩阵行列数
    normDataSet = zeros(shape(dataSet))
    #返回dataSet的行数
    m = dataSet.shape[0]
    #原始值减去最小值，tile是扩充函数
    normDataSet = dataSet - tile(minVals, (m, 1))
    #除以最大和最小值的差,得到归一化数据
    normDataSet = normDataSet / tile(ranges, (m, 1))
    #返回归一化数据结果,数据范围,最小值
    return normDataSet, ranges, minVals

normDataSet, ranges, minVals = autoNorm(datingDataMat)
print(normDataSet)
print("\n")
print(ranges)
print("\n")
print(minVals)

输出结果
在这里插入图片描述
以上是归一化结果，数据都在0-1之间。

测试算法

将所有数据分成两部分，一部分做为训练样本，剩余一部分作为测试样本，对比程序输出结果与原始数据是否一致。

#测试算法
def datingClassTest():
    #打开的文件
    filename = "D:\python\exercise_data\machinelearninginaction\Ch02\datingT
    #将返回的特征矩阵和分类向量分别存储到datingDataMat和datingLabels中
    datingDataMat, datingLabels = file2matrix(filename)
    #取所有数据的百分之十
    hoRatio = 0.10
    #数据归一化,返回归一化后的矩阵,数据范围,数据最小值
    normMat, ranges, minVals = autoNorm(datingDataMat)
    #获得normMat的行数
    m = normMat.shape[0]
    #百分之十的测试数据的个数
    # 强制转换为整数
    numTestVecs = int(m * hoRatio)
    #分类错误计数
    # 后面要进行相除，所以
    errorCount = 0.0

    for i in range(numTestVecs):
        #前numTestVecs个数据作为测试集,后m-numTestVecs个数据作为训练集
        # Mat[:,1] 就是取所有行的第1列的元素。Mat[1,:]取矩阵的第1行的所有元
        classifierResult = classify0(normMat[i,:], normMat[numTestVecs:m,:],
            datingLabels[numTestVecs:m], 4)
        print("分类结果:%d\t真实类别:%d" % (classifierResult, datingLabels[i
        if classifierResult != datingLabels[i]:
            errorCount += 1.0
    print("错误率:%f%%" %(errorCount/float(numTestVecs)*100))

datingClassTest()

输出结果：
在这里插入图片描述

使用算法

算法验证过后，我们根据需要输入数据，将输入数据作为测试集，即可得到测试结果。

def classifyPerson():
    #输出结果
    resultList = ['讨厌','有些喜欢','非常喜欢']
    #三维特征用户输入
    precentTats = float(input("玩视频游戏所耗时间百分比:"))
    ffMiles = float(input("每年获得的飞行常客里程数:"))
    iceCream = float(input("每周消费的冰激淋公升数:"))
    #打开的文件名
    filename = "D:\python\exercise_data\machinelearninginaction\Ch02\datingTestSet.txt"
    #打开并处理数据
    datingDataMat, datingLabels = file2matrix(filename)
    #训练集归一化
    normMat, ranges, minVals = autoNorm(datingDataMat)
    #生成NumPy数组,测试集
    inArr = array([precentTats, ffMiles, iceCream])
    #测试集归一化
    norminArr = (inArr - minVals) / ranges
    #返回分类结果
    classifierResult = classify0(norminArr, normMat, datingLabels, 3)
    #打印结果
    print("你可能%s这个人" % (resultList[classifierResult-1]))

classifyPerson()

输出结果如下：
在这里插入图片描述

手写识别系统

数据准备

这里的原始数据变为了手写图像，根据之前数字图像处理的学习可知，图像本质就是一些数组。我们这里先将图像二维数组转到一维列表中。

def img2vector(filename):
    #创建1x1024零向量
    returnVect = np.zeros((1, 1024))
    #打开文件
    fr = open(filename)
    #按行读取
    for i in range(32):
        #读一行数据
        lineStr = fr.readline()
        #每一行的前32个元素依次添加到returnVect中
        for j in range(32):
            returnVect[0, 32*i+j] = int(lineStr[j])
    #返回转换后的1x1024向量
    return returnVec

在这里插入图片描述
原文件为上图，可以看做是将数字零图像的二值图像的数字表示。
程序运行后如下

可以看到被存为了一维数组中。

使用算法

直接使用了Python带的kNN算法。程序主要是在对数据进行前期准备时的处理，将数据从文件中读到程序中。

def handwritingClassTest():
    #测试集的Labels
    hwLabels = []
    #返回trainingDigits目录下的文件名
    trainingFileList = listdir(r'D:\python\exercise_data\machinelearninginaction\Ch
    #返回文件夹下文件的个数
    m = len(trainingFileList)
    #初始化训练的Mat矩阵,测试集
    trainingMat = zeros((m, 1024))
    #从文件名中解析出训练集的类别
    for i in range(m):
        #获得文件的名字
        fileNameStr = trainingFileList[i]
        #获得分类的数字
        #分割后返回数组，取第一个就是名称
        classNumber = int(fileNameStr.split('_')[0])
        #将获得的类别添加到hwLabels中
        hwLabels.append(classNumber)
        #将每一个文件的1x1024数据存储到trainingMat矩阵中
        trainingMat[i,:] = img2vector(r'D:\python\exercise_data\machinelearninginac
    #构建kNN分类器这里是直接调用了现有KNN函数
    neigh = kNN(n_neighbors = 3, algorithm = 'auto')
    #拟合模型, trainingMat为测试矩阵,hwLabels为对应的标签
    neigh.fit(trainingMat, hwLabels)
    #返回testDigits目录下的文件列表
    testFileList = listdir(r'Ch02\testDigits')
    #错误检测计数
    errorCount = 0.0
    #测试数据的数量
    mTest = len(testFileList)
    #从文件中解析出测试集的类别并进行分类测试
    for i in range(mTest):
        #获得文件的名字
        fileNameStr = testFileList[i]
        #获得分类的数字
        classNumber = int(fileNameStr.split('_')[0])
        #获得测试集的1x1024向量,用于训练
        vectorUnderTest = img2vector('Ch02\testDigits/%s' % (fileNameStr))
        #获得预测结果
        # classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3)
        classifierResult = neigh.predict(vectorUnderTest)
        print("分类返回结果为%d\t真实结果为%d" %(classifierResult, classNumber))
        if(classifierResult != classNumber):
            errorCount += 1.0
    print("总共错了%d个数据\n错误率为%f%%" %(errorCount, errorCount/mTest * 100))

handwritingClassTest()

程序输出
在这里插入图片描述

总结

K-近邻算法，同名字一般就是在比较距离，比较测试样本数据与训练样本的距离。我们要做的就是想办法将数据的距离表达出来。之后对比距离，测试样本哪个训练样本近，我们就判断测试样本为那个训练样本同类。所以该算法关键在于找到距离的合适表达方式。

书生丶丶

关注

1
点赞
踩
13

收藏

觉得还不错? 一键收藏
0
评论
python 学习笔记（四）

之前前看得书是图像处理，上周已经结束了，后面开始进入《机器学习实战》这本书的学习。书里提供了代码，后面就以书中代码为学习目标。去学习机器学习相关算法，学习相关代码的实现，理解书中给出的代码。这个是书中代码讲解视频，里面说了怎么下载书中的代码。（之前照着书里敲出来有问题，所以后面才下载的代码）代码是一张是一个文件，所以看得时候我们把看得对应的代码摘出来，不然一张的代码开始看起来就很容易让人头大。一点个人建议。算法具体原理参考《机器学习实战》学习笔记（一）下面这部分代码主要是将我们现有的数据存到两个表里，方
复制链接

扫一扫