机器学习实战学习笔记（一）k-近邻算法

最新推荐文章于 2021-10-03 11:35:26 发布

Hold_My_Own

最新推荐文章于 2021-10-03 11:35:26 发布

阅读量304

点赞数

分类专栏：机器学习文章标签：机器学习 kNN

本文链接：https://blog.csdn.net/wozaipermanent/article/details/102649400

版权

机器学习专栏收录该内容

13 篇文章 1 订阅

订阅专栏

PS：该系列数据都可以在图灵社区（点击此链接）中随书下载中下载（如下）
在这里插入图片描述

1 k-近邻算法概述

简单地说，k-近邻算法（kNN）采用测量不同特征值之间的距离方法进行分类。

	优点：精度高、对异常值不敏感、无数据输入假定。
	缺点：计算复杂度高、空间复杂度高。
	适用数据范围：数值型和标称型

1.1 准备：适用Python导入数据

创建kNN.py的Python模块，在kNN.py文件中编写如下代码：

from numpy import *
import operator
from os import listdir

def createDataSet():
    group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
    labels = ['A', 'A', 'B', 'B']
    return group, labels

进入python交互式开发环境进行测试：在这里插入图片描述

1.2 实施kNN算法

伪代码：

	对未知类别属性的数据集中的每个点依次执行以下操作：
 	1. 计算已知类别数据集中的点与当前点之间的距离；
 	2. 按照距离递增次序排序；
 	3. 选取与当前点距离最小的k个点；
 	4. 确定前k个点所在类别的出现频率；
 	5. 返回前k个点出现频率最高的类别作为当前点的预测分类

kNN程序清单：

def classify0(inX, dataSet, labels, k):
    '''kNN算法'''
    dataSetSize = dataSet.shape[0]
    #tile函数补全矩阵
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet
    sqDiffMat = diffMat ** 2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances ** 0.5
    #排序并返回原数组的索引
    sortedDistIndecies = distances.argsort()
    classCount = {}
    for i in range(k):
        #遍历前k个近的元素，进行统计
        voteIlabel = labels[sortedDistIndecies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
    return sortedClassCount[0][0]

这里的距离适用欧氏距离，例如计算两个向量点A(x, y)和B(x, y)之间的距离：
$\sqrt{(A_x - B_x)^2 + (A_y - B_y)^2}$
因为重写了kNN.py，所以先需要调用reload()函数重新载入模块为了预测数据所在分类，再进行测试：
在这里插入图片描述

2 适用kNN改进约会网站的配对效果

2.1 从文本文件中解析数据

数据存放在文本文件datingTestSet.txt中，每个样本数据占据一行，总共1000行。样本主要包含以下三种特征：

每年获得的飞行常客里程数
玩视频游戏所耗时间百分比
每周消费的冰淇淋公升数
该数据输入分类器之前必须先处理数据格式使分类器可以正确接收。为此创建file2matrix函数来处理输入格式问题：

def file2matrix(filename):
    '''将文本记录转换为numpy的解析程序'''
    with open(filename, 'r') as fileObject:
        arrayLines = fileObject.readlines()
    numberOfLines = len(arrayLines)
    returnMat = zeros((numberOfLines, 3))
    classLabelVector = [] #分类标签
    index = 0
    for line in arrayLines:
        line = line.strip()
        listFromLine = line.split('\t')
        #选取前3个元素，存储到特征矩阵
        returnMat[index, :] = listFromLine[0 : 3]
        classLabelVector.append(int(listFromLine[-1]))
        index += 1
    return returnMat, classLabelVector

同样重新载入kNN.py，并进行数据测试：在这里插入图片描述

2.2 分析数据：适用Matplotlib创建散点图

在Python命令行环境输入下列命令：
在这里插入图片描述
得到如下图像：

2.3 准备数据：归一化数值

处理不同取值范围的特征值时，通常采用数值归一化方法，如将取值范围处理为0到1或-1到1之间。利用f公式 $n e w V a l u e = (o l d V a l u e - m i n) / (m a x - m i n)$ 可以将任意取值范围的特征值转化为0到1区间内的值：
其中min和max分别是数据集中的最小特征值和最大特征值。因此在kNN.py中增加一个新函数autoNorm()，将数字特征值转化为0到1区间。

def autoNorm(dataSet):
    '''归一化特征值'''
    minVals = dataSet.min(0)
    maxVals = dataSet.max(0)
    ranges = maxVals - minVals
    normDataSet = zeros(shape(dataSet))
    m = dataSet.shape[0]
    normDataSet = dataSet - tile(minVals, (m, 1))
    normDataSet = normDataSet / tile(ranges, (m, 1))
    return normDataSet, ranges, minVals

同样在Python命令行中，重新加载kNN.py并进行测试：
在这里插入图片描述

2.4 测试算法：作为完成程序验证分类器

def datingClassTest():
    '''分类器针对约会网站的测试代码'''
    hoRatio = 0.10
    datingDataMat, datingLabels = file2matrix('datingTestSet2.txt')
    normMat, ranges, minVals = autoNorm(datingDataMat)
    m = normMat.shape[0]
    numTestVecs = int(m * hoRatio)
    errorCount = 0.0 
    for i in range(numTestVecs):
        classifyResult = classify0(normMat[i, :], normMat[numTestVecs:m, :], datingLabels[numTestVecs:m], 3)
        print("the classify back with: " + str(classifyResult) + ", the real answer is : " + str(datingLabels[i]))
        if classifyResult != datingLabels[i] :
            errorCount += 1
    print("the total error rate is:" + str(errorCount / float(numTestVecs)))

运行测试结果：
在这里插入图片描述

2.5 使用算法：构建完整可用系统

def classifyPerson():
    '''约会网站预测函数'''
    resultList = ['not at all', 'in small doses', 'in large doses']
    percentTats = float(input("percentage of time spent playing video game? "))
    ffMiles = float(input("frequent flier miles earned per years? "))
    iceCream = float(input("liters of ice cream consumed per years? "))
    datingDataMat, datingLabels = file2matrix('datingTestSet2.txt')
    normMat, ranges, minVals = autoNorm(datingDataMat)
    inArr = array([ffMiles, percentTats, iceCream])
    classifierResult = classify0((inArr - minVals) / ranges, normMat, datingLabels, 3)
    print("You will probably like this person: ", resultList[classifierResult - 1])

运行测试结果：
在这里插入图片描述

3 手写识别系统

3.1 准备数据：将图像转换为测试向量

为了方便，这里图像以32×32矩阵的形式存储在文本格式，其中trainingDigits目录中是训练集，testDigits目录中是测试集，其中一个txt文件存储内容（数字“5”）如下：
在这里插入图片描述
为了使用前面编写的分类器，必须将图像格式处理为一个向量，将32×32的二进制图像矩阵转化1×1024向量，编写img2vector函数：

def img2vector(filename):
    '''32×32的二进制图像矩阵转换成1×1024的向量'''
    returnVect = zeros((1, 1024))
    with open(filename, 'r') as fileObject:
        for i in range(32):
            lineStr = fileObject.readline()
            for j in range(32):
                returnVect[0, 32 * i + j] = int(lineStr[j])
        return returnVect

3.2 测试算法：使用kNN识别手写数字

编写测试函数handwritingClassTest()函数：

def handwritingClassTest():
    '''手写数字识别系统的测试代码'''
    hwLabels = []
    #获取目录内容
    trainingFileList = listdir('trainingDigits')
    m = len(trainingFileList)
    trainingMat = zeros((m, 1024))
    for i in range(m):
        #从文件名解析分类数据
        fileNameStr = trainingFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        hwLabels.append(classNumStr)
        trainingMat[i, :] = img2vector('trainingDigits/' + fileNameStr)
    testFileList = listdir('testDigits')
    errorCount = 0.0
    mTest = len(testFileList)
    for i in range(mTest):
        fileNameStr = testFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        vectorUnderTest = img2vector('testDigits/' + fileNameStr)
        classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3)
        print("the classifier came back with: " + str(classifierResult) + ", the real answer is: " + str(classNumStr))
        if classifierResult != classNumStr:
            errorCount += 1
    print("\nthe total number of errors is: " + str(errorCount))
    print("\nthe total error rate is " + str(errorCount / float(mTest)))

运行测试结果如下（省略了中间的一些结果）：
在这里插入图片描述
实际使用这个算法时。算法的执行效率不高。因为算法需要为每个测试向量做2000次距离计算，每个距离计算包括了1024个维度浮点运算，总计执行9000次，此外还需为测试向量准备2MB的存储空间。

3 小结

kNN算法时分类数据最简单最有效的算法，kNN时基于实例的学习，使用算法时必须有接近实际数据的训练样本数据。kNN必须保存全部数据集，如果训练数据集很大，必须使用大量的存储空间。此外，由于必须对数据集中的每个数据计算距离值，实际使用时可能非常耗时。
kNN的另一个缺陷是它无法给出任何数据的基础结构信息，因此无法知晓平均实例样本和典型实例样本具有什么特征。

Hold_My_Own

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
机器学习实战学习笔记（一）k-近邻算法

1 k-近邻算法概述简单地说，k-近邻算法（kNN）采用测量不同特征值之间的距离方法进行分类。优点：精度高、对异常值不敏感、无数据输入假定。缺点：计算复杂度高、空间复杂度高。适用数据范围：数值型和标称型1.1 准备：适用Python导入数据创建kNN.py的Python模块，在kNN.py文件中编写如下代码：from numpy import *import ope...
复制链接

扫一扫

专栏目录