《机器学习实战》-- KNN算法

最新推荐文章于 2023-06-18 11:33:00 发布
最新推荐文章于 2023-06-18 11:33:00 发布
阅读量855 收藏 1
点赞数
分类专栏： 机器学习实战 文章标签： 机器学习 KNN算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nature_XD/article/details/56023645
版权

KNN算法（K-Nearest Neighbor，k最近邻分类算法）

1. 算法思想

从训练样本中选择k个与测试样本“距离”最近的样本，这k个样本中出现频率最高的类别即作为测试样本的类别。
原理：物以类聚
优缺点：
优点：算法简单，易于实现，不需要参数估计，不需要事先训练
缺点：KNN计算量大，且训练样本必须存储在本地，内存开销也特别大

2. 基本测试

使用简单数据对KNN算法进行测试。

from numpy import *  #科学计算包
import operator   # 运算符模块

def createDataSet():
    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels = ['A','A','B','B']
    return group,labels

# 使用KNN算法进行分类
def classify(inX, dataSet, labels, k):
    # inX:输入的单个样本；[0,0]
    # dataSet训练样本，对应trainData；[[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]],dataSet.shape[0]=4
    # labels对应trainLabel，
    # k是KNN算法选定的k，一般选择0~20之间的整数
    # 返回值：inX的label，即图片inX对应的数字
    dataSetSize = dataSet.shape[0]  #返回训练集行数

    ########### 计算距离（欧式距离，sqrt((x1-x2)^2 + (y1-y2)^2) + (z1-z2)^2） #############
    #print(tile(inX, (dataSetSize,1))) # [[0 0] [0 0] [0 0] [0 0]]
    diffMat = tile(inX, (dataSetSize,1)) - dataSet  #tile(inX, (dataSetSize,1))将inx构造为dataSetSize*1的数组
    #print(diffMat)  #[[-1.  -1.1] [-1.  -1. ] [ 0.   0. ] [ 0.  -0.1]]
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis = 1)  #按行累加
    distances = sqDistances**0.5
    sortedDistIndicies = distances.argsort() #得到矩阵中每个元素的排序序号

    ########### 选择距离最小的k个点 #############
    classCount = {}
    for i in range(k):
        #sortedDistIndicies[i]表示第i小的样本在原样本集中的位置，从而找到相应的labels
        voteIlabel = labels[sortedDistIndicies[i]]
        #从字典classCount中获取key=voteIlabe对应的value，没有找到则返回0 
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1

    ########### classCount统计了距离最小的k个点的label，对其排序得到最大值 #############
    #operator.itemgetter(1)，operator模块提供的itemgetter函数用于获取对象的哪些维的数据
    #字典items()函数以列表返回可遍历的（键，值）元组数组
    #因此，该句表示对字典中的元素按照值的大小进行降序排序
    sortedClassCount = sorted(classCount.items(), key = operator.itemgetter(1), reverse = True)
    #排序后的第一个元素的值即为预测结果
    return sortedClassCount[0][0]

group,labels = createDataSet()
result = classify([0,0], group, labels, 3)
print(result)

3. 改进约会网站的配对效果

在处理取值范围不同，重要程度相同的特征值时，通常采用的方法是将数值归一化，如将取值范围处理为0~1或-1~1之间。
使用公式：

newValue = (oldValue - min) / (max - min)

将任意取值范围的特征值转化为[0,1]区间内的值。

取数据集中5%的数据作为测试样本，剩余数据作为训练样本，求错误率来评估分类器的性能。测试显示，取5%的测试样本，错误率为2%；取10%的测试样本，错误率为5%。（与书中并不一致）

from numpy import *
import operator
import sys

#从文本文件中读取数据
def file2matrix(filename):
    fr = open(filename)
    arrayOLines = fr.readlines()
    numberOfLines = len(arrayOLines)
    returnMat = zeros((numberOfLines,3))
    classLabelVector = []
    index = 0
    for line in arrayOLines:
        line = line.strip()
        listFromLine = line.split('\t')
        returnMat[index,:] = listFromLine[0:3]
        classLabelVector.append(int(listFromLine[-1]))
        index += 1
    return returnMat,classLabelVector

#不同取值范围的特征值具有同等重要性时，通常采用的方法是将数值归一化
# newValue = (oldValue-min)/(max-min)
def autoNorm(dataSet):
    minVals = dataSet.min(0)
    maxVals = dataSet.max(0)
    ranges = maxVals - minVals
    normDataSet = zeros(shape(dataSet))
    m = dataSet.shape[0]
    normDataSet = dataSet - tile(minVals, (m,1))
    normDataSet = normDataSet/tile(ranges, (m,1))
    return normDataSet,ranges, minVals

# 使用KNN算法进行分类
def classify(inX, dataSet, labels, k):
    # inX:输入的单个样本；[0,0]
    # dataSet训练样本，对应trainData；[[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]],dataSet.shape[0]=4
    # labels对应trainLabel，
    # k是KNN算法选定的k，一般选择0~20之间的整数
    # 返回值：inX的label，即图片inX对应的数字
    dataSetSize = dataSet.shape[0]  #返回训练集行数

    ########### 计算距离（欧式距离，sqrt((x1-x2)^2 + (y1-y2)^2) + (z1-z2)^2） #############
    #print(tile(inX, (dataSetSize,1))) # [[0 0] [0 0] [0 0] [0 0]]
    diffMat = tile(inX, (dataSetSize,1)) - dataSet  #tile(inX, (dataSetSize,1))将inx构造为dataSetSize*1的数组
    #print(diffMat)  #[[-1.  -1.1] [-1.  -1. ] [ 0.   0. ] [ 0.  -0.1]]
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis = 1)  #按行累加
    distances = sqDistances**0.5
    sortedDistIndicies = distances.argsort() #得到矩阵中每个元素的排序序号

    ########### 选择距离最小的k个点 #############
    classCount = {}
    for i in range(k):
        #sortedDistIndicies[i]表示第i小的样本在原样本集中的位置，从而找到相应的labels
        voteIlabel = labels[sortedDistIndicies[i]]
        #从字典classCount中获取key=voteIlabe对应的value，没有找到则返回0 
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1

    ########### classCount统计了距离最小的k个点的label，对其排序得到最大值 #############
    #operator.itemgetter(1)，operator模块提供的itemgetter函数用于获取对象的哪些维的数据
    #字典items()函数以列表返回可遍历的（键，值）元组数组
    #因此，该句表示对字典中的元素按照值的大小进行降序排序
    sortedClassCount = sorted(classCount.items(), key = operator.itemgetter(1), reverse = True)
    #排序后的第一个元素的值即为预测结果
    return sortedClassCount[0][0]

# 测试分类器的性能，使用错误率
def datingClassTest():
    hoRatio = 0.05  #表示测试数据比例占10%，训练数据为90%
    datingDataMat,datingLabels = file2matrix('datingTestSet2.txt')
    normMat, ranges, minVals = autoNorm(datingDataMat)
    m = normMat.shape[0]
    numTestVecs = int(m*hoRatio)
    errorCount = 0.0
    for i in range(numTestVecs):
        classifierResult = classify(normMat[i,:],normMat[numTestVecs:m,:], datingLabels[numTestVecs:m],3)
        print("the classifier came back with:%d, the real answer is：%d" % (classifierResult,datingLabels[i]))
        if classifierResult != datingLabels[i]:
            errorCount += 1.0
    print("the total error rate is: %f" % (errorCount/float(numTestVecs)))

# 约会网站预测函数
def classifyPerson():
    resultList = ['not at all','in small doses','in large doses']
    percentTats = float(input("Percentage of time spent playing video games?"))
    ffMiles = float(input("frequent flier miles earned per year?"))
    iceCream = float(input("liters of ice cream consumed per year?"))
    datingDataMat,datingLabels = file2matrix("datingTestSet2.txt")
    normMat, ranges, minVals = autoNorm(datingDataMat)
    inArr = array([ffMiles, percentTats, iceCream])
    classifierResult = classify((inArr-minVals)/ranges, normMat, datingLabels,3)
    print("You will probably like this person:", resultList[classifierResult-1]) #resultList的下标为0,1,2

datingClassTest()
classifyPerson()

测试结果：
测试结果

4. 手写字识别系统

为简便计算，将输入手写字图像的处理为32*32的二值图像。
另外，需从OS模块导入listdir函数，列出给定目录的文件名。

# 输入图像：宽高为32*32的黑白图像

from numpy import *
import operator
from os import listdir  #从OS模块导入listdir函数，列出给定目录的文件名


#将32*32的二进制图像矩阵转化为
def img2vector(filename):
    returnVect = zeros((1,1024))
    fr = open(filename)
    for i in range(32):
        lineStr = fr.readline()
        for j in range(32):
            returnVect[0,32*i+j] = int(lineStr[j])
    return returnVect

# 使用KNN算法进行分类
def classify(inX, dataSet, labels, k):
    # inX:输入的单个样本；[0,0]
    # dataSet训练样本，对应trainData；[[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]],dataSet.shape[0]=4
    # labels对应trainLabel，
    # k是KNN算法选定的k，一般选择0~20之间的整数
    # 返回值：inX的label，即图片inX对应的数字
    dataSetSize = dataSet.shape[0]  #返回训练集行数

    ########### 计算距离（欧式距离，sqrt((x1-x2)^2 + (y1-y2)^2) + (z1-z2)^2） #############
    #print(tile(inX, (dataSetSize,1))) # [[0 0] [0 0] [0 0] [0 0]]
    diffMat = tile(inX, (dataSetSize,1)) - dataSet  #tile(inX, (dataSetSize,1))将inx构造为dataSetSize*1的数组
    #print(diffMat)  #[[-1.  -1.1] [-1.  -1. ] [ 0.   0. ] [ 0.  -0.1]]
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis = 1)  #按行累加
    distances = sqDistances**0.5
    sortedDistIndicies = distances.argsort() #得到矩阵中每个元素的排序序号

    ########### 选择距离最小的k个点 #############
    classCount = {}
    for i in range(k):
        #sortedDistIndicies[i]表示第i小的样本在原样本集中的位置，从而找到相应的labels
        voteIlabel = labels[sortedDistIndicies[i]]
        #从字典classCount中获取key=voteIlabe对应的value，没有找到则返回0 
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1

    ########### classCount统计了距离最小的k个点的label，对其排序得到最大值 #############
    #operator.itemgetter(1)，operator模块提供的itemgetter函数用于获取对象的哪些维的数据
    #字典items()函数以列表返回可遍历的（键，值）元组数组
    #因此，该句表示对字典中的元素按照值的大小进行降序排序
    sortedClassCount = sorted(classCount.items(), key = operator.itemgetter(1), reverse = True)
    #排序后的第一个元素的值即为预测结果
    return sortedClassCount[0][0]



def handwritingClassTest():
    hwLabels = []
    trainingFileList = listdir('trainingDigits')
    m = len(trainingFileList)
    trainingMat = zeros((m,1024))
    for i in range(m):
        fileNameStr = trainingFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        hwLabels.append(classNumStr)
        trainingMat[i,:] = img2vector('trainingDigits/%s' % fileNameStr)
    testFileList = listdir('testDigits')
    errorCount = 0.0
    mTest = len(testFileList)
    for i in range(mTest):
        fileNameStr = testFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        vectorUnderTest = img2vector('testDigits/%s' % fileNameStr)
        classifierResult = classify(vectorUnderTest, trainingMat, hwLabels, 3)
        print("the classifier came back with: %d, the real answer is: %d" % (classifierResult,classNumStr))
        if classifierResult != classNumStr:
            errorCount += 1.0
    print("the total error rate is: %f" % (errorCount/float(mTest)))

handwritingClassTest()

使用到的数据在http://download.csdn.net/detail/nature_xd/9759044中可下载。
测试样本：2000个，每个样本大小为32*32，整理为1*1024
测试样本：900个

实际使用这个算法时，算法的执行效率并不高。因为算法需要为每个测试向量做2000次距离计算，每个距离计算包括1024个浮点运算，一共要执行900次，也就是有900*2000*1024次浮点数运算。

是否存在一种算法减少存储空间和计算时间的开销呢？
《机器学习实战》中说K决策树就是k近邻算法的优化版，可以节省大量的计算开销。

Q-沐风听雨-
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习——KNN算法
weixin_45936137的博客
05-11 7438
机器学习实战之KNN算法
罗罗攀
06-08 243
本系列教程为《机器学习实战》的读书笔记。首先，讲讲写本系列教程的原因：第一，《机器学习实战》的代码由Python2编写，有些代码在Python3上运行已会报错，本教程基于Python3进行代码的修订；第二：之前看了一些机器学习的书籍，没有进行记录，很快就忘记掉了，通过编写教程也是一种复习的过程；第三，机器学习相对于爬虫和数据分析而言，学习难度更大，希望通过...
机器学习之KNN算法
年少的勇气已经用完，剩下的就是三思而后行
06-02 790
KNN可以说是最简单的分类算法之一，同时，它也是最常用的分类算法之一，注意KNN算法是有监督学习中的分类算法，它看起来和另一个机器学习算法K-means有点像（K-means是无监督学习算法），但却是有本质区别的。KNN的全称是K Nearest Neighbors，意思是K个最近的邻居，从这个名字我们就能看出一些KNN算法的蛛丝马迹了。K个最近邻居，毫无疑问，K的取值肯定是至关重要的。那么最近的邻居又是怎么回事呢？其实啊，KNN的原理就是当预测一个新的值x的时候，根据它距离最近的K个点是什么类别来判断x属
机器学习-KNN算法
qq_45138078的博客
10-24 1803
本文主要讲述了机器学习中较为简单的K-近邻算法，可以作为大家机器学习的入门算法教程
机器学习实战 - k近邻算法（KNN算法）总结
04-12
机器学习实战 - k近邻算法（KNN算法）总结 适合机器学习实战入门新手 K-近邻算法，又称为 KNN 算法，是数据挖掘技术中原理最简单的算法。 KNN 的工作原理：给定一个已知类别标签的数据训练集，输入没有标签的新数据...
机器学习实战 - KNN（K近邻）算法PDF知识点详解 + 代码实现
04-27
**K-近邻（KNN）算法**是机器学习领域中一种基础且直观的分类算法。它的核心思想是根据输入样本最接近的K个训练样本的类别来预测新样本的类别。KNN算法最早由Cover和Hart在1968年提出，是一种基于实例的学习方法，...
机器学习算法-KNN精讲
08-21
跟着我的节奏，带你走进数据科学，从数据分析思维、数据分析方法、数据分析工具Excel、SQL、Tableau、POWERBI、FineBI、Python等、数据分析之统计建模分析、机器学习、深度学习等，数据分析实战案例、数据建模分析等...
数据分析实战 - KNN算法-病例自动诊断分析
最新发布
11-11
《数据分析实战 - KNN算法-病例自动诊断分析》 本文主要探讨如何运用Python编程和KNN（K-Nearest Neighbors）算法对医疗病例数据进行分类分析，特别是针对乳腺癌的诊断。KNN是一种监督学习算法，适用于分类任务，...
《机器学习实战》kNN学习笔记（一）
01-20
概述 k-近邻算法采用测量不同特征值之间的距离方法进行分类 优缺点 优点：精度高、对异常值不敏感、唔数据输入假定 缺点：计算复杂度高、空间复杂度高。 适用数据范围：数值型和标称型 标称型：标称型目标变量的结果只在有限目标集中取值，如真与假(标称型目标变量主要用于分类)标称型：标称型目标变量的结果只在有限目标集中取值，如真与假(标称型目标变量主要用于分类) 数值型：数值型目标变量则可以从无限的数值集合中取值，如0.100，42.001等 (数值型目标变量主要用于回归分析) k-近邻算法的一般流程 收集数据：可以使用任何方法. 准备数据：距离计算所需要的数值，最好是结构化的数据格式. 分析数据：可
机器学习实战——kNN
louishao的博客
05-21 1079
最近在学习机器学习算法，感觉有本书写得很不错——《机器学习实战》，如果有一点基础去看这本书，然后在结合书中实例进行实践，还是很有收获的。 之后，可能会不定时的更新此书的相关内容，主要内容参考此书，夹杂一些我自己实践中的经验。 KNN算法 本书介绍的第一个机器学习算法是kNN算法，这个算法比较基础，简单易懂。 实现的主要步骤： (1)收集数据。 (2)准备数据：使用python解...
机器学习实战 --- kNN
hliyang的博客
10-15 255
k-近邻算法： （kNN —— k-Nearest Neighbors） 测量不同特征值之间的距离方法进行分类。 有一个样本数据集（每个样本都存在标签），输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，提取样本集中特征最相似数据（最近邻）的分类标签。一般，只选择样本数据中前k个最相似的数据（k通常不大于20），选择其中分类出现次数最多的作为新数据的分类。 欧式距离公式：...
机器学习实战--KNN
qxdoit的博客
10-15 140
import numpy as np import operator def createDataSet(): group = np.array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]]) labels = ['A','A','B','B'] return group,labels def classify0(inX,dataset,lab...
机器学习实战——KNN算法
wxw_csdn的博客
10-24 328
机器学习实战——KNN算法k近邻算法的原理 k近邻算法的原理 k 近邻算法的工作机制非常简单:对给定的测试样本，基于某种距离度量找出训练集中与其最靠近的 k 个训练样本，然后基于这 k 个"邻居"的信息来进行预测。通常， 在分类任务中可使用"投票法" ，即选择这 k 个样本中出现最多的类别标记作为预测结果；
机器学习之KNN(K近邻)算法
热门推荐
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
06-18 1万+
KNN算法又叫做K近邻算法，是众多机器学习算法里面最基础入门的算法。KNN算法是最简单的分类算法之一，同时，它也是最常用的分类算法之一。KNN算法是有监督学习中的分类算法，它看起来和Kmeans相似（Kmeans是无监督学习算法），但却是有本质区别的。KNN算法基于实例之间的相似性进行分类或回归预测。在KNN算法中，要解决的问题是将新的数据点分配给已知类别中的某一类。该算法的核心思想是通过比较距离来确定最近邻的数据点，然后利用这些邻居的类别信息来决定待分类数据点的类别。其核心思想为：“近朱者赤近墨者黑”
机器学习实战——KNN代码
gs581c的博客
03-07 275
机器学习和python编程都刚开始学，从看代码开始，实践出真知 # -*- coding: utf-8 -*- from numpy import * import operator def classify0(inX, dataSet, labels, k):     dataSetSize = dataSet.shape[0]  #object.shape[0]= len(o
# 机器学习实战#（一）——KNN算法
Gucciwei的博客
11-05 771
（1）此次算法的实例还不够完整，还缺少数据分析（2）k算法的是优点：简单易懂不需要训练过程；缺点：样本不平衡的时候，对稀有类别的预测准确率低。
Python机器学习之KNN算法（包含实战）
m0_60307882的博客
03-23 5612
KNN算法（含实战代码以及免费数据集）
机器学习--KNN算法.pptx
11-28
"该资源是一份关于机器学习中KNN算法的PPT，主要涵盖了KNN的基本概念、距离度量方法、算法优缺点、手动实现以及使用sklearn库的实现方式，并通过一个约会网站配对效果的应用案例进行讲解。这份资料属于头歌人工智能...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值