KNN算法实例

已于 2023-10-09 18:50:57 修改
阅读量373 收藏 5
点赞数 1
文章标签： 算法 python 机器学习
于 2023-10-09 18:50:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63047033/article/details/133706008
版权

文章目录

KNN算法实例

KNN算法（K近邻算法）是一种很朴实的机器学习方法，既可以做分类，也可以做回归。分类问题是机器学习非常重要的一个组成部分，它的目标是根据已知样本的某些特征，判断一个样本属于哪个类别。

一、案例

  • 案例背景

将收集的收集的一些数据存放在文本文件datingTestSet1.txt中，每个样本数据占一行，总共有1000行。（数据前三列分别表示：豆子植物的茎长，豆子的重量和豆子的宽度。最后一列则表示豆子的种类，总共有三种，分别为黑豆、绿豆和红豆）

  • datingTestSet.txt中的个别数据：
    在这里插入图片描述

二、具体实现代码实现

1.准备数据

代码如下：

# 准备数据：从文本文件中解析数据
import numpy as np
def file2matrix(filename):
    #打开文件
    fr = open(filename)
    #读取文件所有内容
    arrayOLines = fr.readlines()
    #得到文件行数
    numberOfLines = len(arrayOLines)
    #返回的NumPy矩阵,解析完成的数据:numberOfLines行,3列
    returnMat = np.zeros((numberOfLines,3))
    #返回的分类标签向量
    classLabelVector = []
    #行的索引值
    index = 0
    for line in arrayOLines:
        #s.strip(rm)，当rm空时,默认删除空白符(包括'\n','\r','\t',' ')
        line = line.strip()
        #使用s.split(str="",num=string,cout(str))将字符串根据'\t'分隔符进行切片。
        listFromLine = line.split('\t')
        #特征矩阵
        returnMat[index,:] = listFromLine[0:3]
        #标签分类
        if listFromLine[-1] == 'RedBean':
            classLabelVector.append(1)
        elif listFromLine[-1] == 'MungBean':
            classLabelVector.append(2)
        elif listFromLine[-1] == 'BlackBean':
            classLabelVector.append(3)
        index += 1
    return returnMat, classLabelVector
filename = 'E:\MechineLearning\KNN\KNN\datingTestSet1.txt'
datingDataMat, datingLabels = file2matrix(filename)  
print(datingDataMat)    #归一化后的数据
print(datingLabels)     #每一行数据的标签

执行结果：
在这里插入图片描述

上面的代码读取了datingTestSet1.txt里面的数据，将datingTestSet1.txt里面值经过处理后循环遍历，前三个字段的值存储在returnMat中，然后根据最后一个字段来判断豆子的分类，并将其对应的标签值（1，2，3）添加到classLableVector中，然后返回特征矩阵returnMat和分类标签向量classLableVector，然后将datingTestSet1.txt文件路径作为参数调用file2matrix()函数，将解析得到的特征矩阵存储在datingDataMat中，将分类标签存储在datingLabels中。打印归一化后的特征矩阵datingDataMat和每一行数据的标签datingLabels。

2.分析数据：使用Matplotlib创建散点图

代码如下：

import matplotlib.pyplot as plt
import matplotlib.lines as mlines
# 数据展示
def showData(datingDataMat, datingLabels):

    fig, axs = plt.subplots(nrows=2, ncols=2, sharex=False, sharey=False, figsize=(13, 8))


    LabelsColors = []
    for i in datingLabels:
        if i == 1:
            LabelsColors.append('black')
        if i == 2:
            LabelsColors.append('orange')
        if i == 3:
            LabelsColors.append('red')
    axs[0][0].scatter(x=datingDataMat[:, 0], y=datingDataMat[:, 1], color=LabelsColors, s=15, alpha=.5)
    axs0_title_text = axs[0][0].set_title('height_weight')
    axs0_xlabel_text = axs[0][0].set_xlabel('height')
    axs0_ylabel_text = axs[0][0].set_ylabel('weight')
    plt.setp(axs0_title_text, size=9, weight='bold', color='red')
    plt.setp(axs0_xlabel_text, size=7, weight='bold', color='black')
    plt.setp(axs0_ylabel_text, size=7, weight='bold', color='black')
    axs[0][1].scatter(x=datingDataMat[:, 0], y=datingDataMat[:, 2], color=LabelsColors, s=15, alpha=.5)
    # 设置标题,x轴label,y轴label

    axs1_title_text = axs[0][1].set_title('height_width')
    axs1_xlabel_text = axs[0][1].set_xlabel('height')
    axs1_ylabel_text = axs[0][1].set_ylabel('width')
    plt.setp(axs1_title_text, size=9, weight='bold', color='red')
    plt.setp(axs1_xlabel_text, size=7, weight='bold', color='black')
    plt.setp(axs1_ylabel_text, size=7, weight='bold', color='black')

  
    axs[1][0].scatter(x=datingDataMat[:, 1], y=datingDataMat[:, 2], color=LabelsColors, s=15, alpha=.5)
    # 设置标题,x轴label,y轴label
    axs2_title_text = axs[1][0].set_title('weight_width')
    axs2_xlabel_text = axs[1][0].set_xlabel('weight')
    axs2_ylabel_text = axs[1][0].set_ylabel('width')
    plt.setp(axs2_title_text, size=9, weight='bold', color='red')
    plt.setp(axs2_xlabel_text, size=7, weight='bold', color='black')
    plt.setp(axs2_ylabel_text, size=7, weight='bold', color='black')
    # 设置图例
    BlackBean = mlines.Line2D([], [], color='black', marker='.',
                              markersize=6, label='BlackBean')
    MungBean = mlines.Line2D([], [], color='orange', marker='.',
                               markersize=6, label='MungBean')
    RedBean = mlines.Line2D([], [], color='red', marker='.',
                               markersize=6, label='RedBean')
    # 添加图例
    axs[0][0].legend(handles=[BlackBean, MungBean, RedBean])
    axs[0][1].legend(handles=[BlackBean, MungBean, RedBean])
    axs[1][0].legend(handles=[BlackBean, MungBean, RedBean])
    # 显示图片
    plt.show()
showData(datingDataMat,datingLabels)

执行结果：
在这里插入图片描述
这段代码实现了使用Matplotlib创建散点图。具体功能：创建一个包含2行2列的子图，即总共4个子图。根据传入的数据和标签，在第一个子图中绘制豆子植物的茎长和豆子的重量的散点图。在第二个子图中绘制豆子植物的茎长和豆子的宽度的散点图。在第三个子图中绘制豆子的重量和豆子的宽度的散点图。设置每个子图的标题、x轴标签和y轴标签。根据标签的不同，将散点的颜色分别设置为黑色、橙色和红色，分别表示不同标签的散点颜色。最后显示绘制好的散点图。

3. 对数据进行归一化

归一化：在处理这种不同取值范围的特征值时，我们通常采用的方法是将数值归一化，如将取值范围处理为０到１或者-１到１之间。
在此示例中的具体代码：

def autoNorm(dataSet):
    minVals = dataSet.min(0)
    maxVals = dataSet.max(0)
    ranges = maxVals - minVals
    #shape(dataSet)返回dataSet的矩阵行列数
    normDataSet = np.zeros(np.shape(dataSet))
    #返回dataSet的行数
    m = dataSet.shape[0]
    #用归一化公示进行处理
    normDataSet = dataSet - np.tile(minVals, (m, 1))
    normDataSet = normDataSet / np.tile(ranges, (m, 1))
    #返回归一化数据结果,数据范围,最小值
    return normDataSet, ranges, minVals
normDataSet, ranges, minVals = autoNorm(datingDataMat)
print(normDataSet)
print(ranges)
print(minVals)

执行结果：
在这里插入图片描述

归一化的具体实现原理可以看前面的博客https://blog.csdn.net/m0_63047033/article/details/133522587，对数据进行归一化处理后，返回归一化数据结果,数据范围,最小值。

4.测试算法：分类器的实现

import operator
# 输入：inX - 用于分类的数据（测试集）；dataSet - 训练集；labes - 分类标签；K - KNN算法参数，选择距离最小的K个点
# 输出：sortedClassCount[0][0] - 分类结果
def classify0(inX, dataSet, labels, k):
    #numpy函数shape[0]返回dataSet的行数
    dataSetSize = dataSet.shape[0]
    #在列向量方向上重复inX共1次(横向),行向量方向上重复inX共dataSetSize次(纵向)
    diffMat = np.tile(inX, (dataSetSize, 1)) - dataSet
    #计算欧式距离
    #二维特征相减后平方
    sqDiffMat = diffMat**2
    #sum()所有元素相加,sum(0)列相加,sum(1)行相加
    sqDistances = sqDiffMat.sum(axis=1)
    #开方,计算出距离
    distances = sqDistances**0.5
    #返回distances中元素从小到大排序后的索引值
    sortedDistIndices = distances.argsort()
    #定一个记录类别次数的字典
    classCount = {}
    for i in range(k):
        #取出前k个元素的类别
        voteIlabel = labels[sortedDistIndices[i]]
        #dict.get(key,default=None),字典的get()方法,返回指定键的值,如果值不在字典中返回默认值。
        #计算类别次数
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
    #返回次数最多的类别,即所要分类的类别
    return sortedClassCount[0][0]
m = normDataSet.shape[0]#返回数据集中样本的数量
numTestVecs = int(m*0.1)
errorCount = 0.0
for i in range(numTestVecs):
    classifyResult = classify0(normDataSet[i,:],normDataSet[numTestVecs:m,:],
                              datingLabels[numTestVecs:m],4)
    print("分类结果：%d,真实类别：%d" % (classifyResult,datingLabels[i]))
    if(classifyResult!=datingLabels[i]):
        errorCount += 1.0
print("错误率：%f%%" %(errorCount/float(numTestVecs)*100))

运行结果：
在这里插入图片描述

normDataSet.shape[0]返回数据集中样本的数量，numTestVecs = int(m*0.1)计算测试集的样本数量，因此这里采用了90%的训练集和10%的测试集的划分方式。在测试样本中找到训练集中距离该样本最近的前K个样本，统计这K个样本所属不同类别的出现次数，将出现次数最多的类别作为该测试样本的类别。在代码中我距离度量方法采用的是欧氏距离公式。距离度量方法同样可以参考之前的博客https://blog.csdn.net/m0_63047033/article/details/133522587

5.使用算法：输入数据进行测试

# 通过输入豆子的三维特征,进行分类输出
def classifyPerson():
    #输出结果
    resultList = ['黑豆','绿豆','红豆']
    #三维特征用户输入
    ffMiles = float(input("豆子植物的茎长："))
    precentTats = float(input("豆子的重量："))
    iceCream = float(input("豆子的宽度："))
    #打开的文件名
    filename = "datingTestSet1.txt"
    #打开并处理数据
    datingDataMat, datingLabels = file2matrix(filename)
    #训练集归一化
    normMat, ranges, minVals = autoNorm(datingDataMat)
    #生成NumPy数组,测试集
    #inArr = np.array([precentTats, ffMiles, iceCream])
    inArr = np.array([ffMiles, precentTats, iceCream])
    #测试集归一化
    norminArr = (inArr - minVals) / ranges
    #返回分类结果
    classifierResult = classify0(norminArr, normMat, datingLabels, 3)   #直接指定k为3
    #打印结果
    print("这个豆子的种类是：%s" % (resultList[classifierResult-1]))
classifyPerson()

用户输入豆子的三维特征，包括豆子植物的茎长、豆子的重量和豆子的宽度。程序会根据输入的特征值，对训练集中的豆子进行分类，并输出豆子属于哪一种类型（黑豆、绿豆和红豆），辞职我们指定的k值为3？当我输入的三个数据分别为(1600,56,2）时，执行的结果如下图：
在这里插入图片描述

三、数据的分析

在上面的案例中我们设置的k=3,错误率为4%，可以看出模型效果还不错。当我们改变k值，或者改变

  • 改变k值
  • 当我们把k值增大10倍，当k=30时，此时我们得到的错误率仍为4%，这是因为当k增大时，模型会变得过于宽松，整体模型变得简单，甚至忽略了数据中的重要信息，当k增大到数据样本个数时，因为此时无论输入实例是什么，都只是简单的预测它属于在训练实例中最多的类
  • 当我们把k减小为1或2时，此时得到的错误率仍然为4%，但是时输入不变时，输出结果变成了‘红豆’，此时可能发生了过拟合或者欠拟合问题，导致错误率一直不变。但是预测的结果却发生了变化。
  • 改变测试集和训练集的划分方式
  • 当把90%的训练集和10%的测试集的划分方式改为80%的训练集和20%的测试集的划分方式时，当输入的数据不变时，错误率增大了，变成了8%，通过不断调整**，当改变改变测试机和训练集的划分方式时，错误率也会发生改变。**

四、模型优化

  • K值的选择：KNN算法需要手动选定K值，较小的K值会容易出现过拟合问题；而较大的K值则会容易出现欠拟合问题。一般使用交叉验证等技术来确定最优的K值。
  • 距离度量：KNN算法实现的关键在于距离的计算，不同的距离度量方式会影响KNN的分类效果。除了案例中的欧式距离、我们还应用曼哈顿距离（Manhanttan Distance）和切比雪夫距离（Chebyshev Distance）。在有些具体的问题中，也可以采用自定义的距离度量来优化模型。

五、knn算法的优点与缺点

  • 优点
    • 简单，易于理解，易于实现，无需估计参数。
    • 对数据没有假设，准确度高，对异常点不敏感。
    • 适合对稀有事件进行分类。
    • 适合于多分类问题。
  • 缺点
    • 当特征非常多的时候，计算量太大。
    • 样本不平衡问题（有些类别的样本数量很多，而其它样本的数量很少）。
    • 对训练数据依赖度特别大，对训练数据的容错性太差。对训练数据依赖度特别大，对训练数据的容错性太差。
NayNuhcIem
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
基于Python实现手写数字识别的KNN算法实例
07-27
基于Python实现手写数字识别的KNN算法实例
Python 单样本学习实用指南：1~6 全
龙哥盟
04-18 1715
深度学习给制造业带来了重大变化，无论是制造业，医疗还是人力资源。通过这一重大革命和概念验证，几乎每个行业都在尝试调整其业务模型以适应深度学习，但是它有一些主要要求，可能并不适合每个业务或行业。阅读本节后，您将对深度学习的优缺点有适当的了解。第 1 章，“单样本学习简介”人们可以通过少量示例学习新事物。当受到刺激时，人类似乎能够快速理解新概念，然后在将来认识到这些概念的变体。孩子可以从一张图片中学会识别狗，但是机器学习系统需要大量示例来学习狗的特征并在将来识别它们。
base64图片的String字符串压缩变小
热门推荐
rao991207823的博客
07-09 14万+
base64图片的String字符串压缩变小（自测不失真）依赖环境编写工具类编写测试类验证验证效果其他知识补充Thumbnails用法介绍 依赖环境 需求：最近前端反馈对于上传的图片资源过大因此需要进行压缩，考虑Java后台实现。 项目工程：springboot工程 1、添加压缩所需的依赖 <!--图片压缩依赖--> <dependency> <groupId>net.coobird</groupId> <artifactId>
精通 NumPy 数值分析：1~5
龙哥盟
04-13 2458
原文：Mastering Numerical Computing With NumPy 协议：CC BY-NC-SA 4.0 译者：飞龙 一、使用 NumPy 数组 科学计算是一个多学科领域，其应用跨越数值分析，计算金融和生物信息学等学科。 让我们考虑一下金融市场的情况。 当您考虑金融市场时，会有巨大的相互联系的互动网络。 政府，银行，投资基金，保险公司，养老金，个人投资者和其他人都参与了这种金融工具的交换。 您不能简单地模拟市场参与者之间的所有互动，因为参与金融交易的每个人都有不同的动机和不同的风险/
dom模板列表-2
meng_xiaoxiao的博客
08-15 13万+
模板列表
K近邻算法(KNN)及案例（Python）
qq_42433311的博客
04-19 1万+
1 算法简介 K近邻算法（英文为K-Nearest Neighbor，因而又简称KNN算法）是非常经典的机器学习算法。 K近邻算法的原理非常简单：对于一个新样本，K近邻算法的目的就是在已有数据中寻找与它最相似的K个数据，或者说“离它最近”的K个数据，如果这K个数据大多数属于某个类别，则该样本也属于这个类别。 （K的含义）以下图为例，假设五角星代表爱情片，三角形代表科幻片。此时加入一个新样本正方形，需要判断其类别。当选择以离新样本最近的3个近邻点（K＝3）为判断依据时，这3个点由1个五角星和2个三角形
机器学习——KNN算法实例
m0_54703897的博客
11-06 4188
KNN实例，学生家庭情况评定
KNN算法实战
向着光的那方
01-16 4606
最近邻算法（NN)：为了判定未知样本的类别，以全部训练样本作为代表点计算位置样本与所有训练样本的距离，并以最邻近这的类别作为决策位置样本的唯一依据。但是最近邻算法作为分类原则是存下明显缺陷的。 最近邻算法的缺点---对噪声数据过于敏感 为了解决这个额问题，我们可以把位置样本周边的多个样本算在内，扩大与决策的样本量，以避免个别数据直接决定决策结果。 ----K-邻近算法 K近邻算法思想：K-近邻算法是最紧邻算法的一个延伸。基本思路是：选择未知样本一定范围内确定个数的K个样...
Python实现KNN算法（附源码）
不断学习，不断进步，提高自己
05-31 3475
本篇我们将讨论一种广泛使用的分类技术，称为k邻近算法，或者说K最近邻(KNN，k-Nearest Neighbor)。所谓K最近邻，是k个最近的邻居的意思，即每个样本都可以用它最接近的k个邻居来代表。01、KNN算法思想如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。KNN方法在类别决策时，只与极少量的相邻样本有关。
python实现KNN算法（公式推导+源代码）
11-16 7063
今天这篇文章要介绍的是KNN（k近邻算法），这是一种简单的分类算法，它的思想是通过测量不同特征值之间的距离进行分类的。 这样说你可能不太懂，那下面我们就通过一个简单的例子来形象的概述下。 以下面这张图为例，我们在这张图上可以看到有三种不同类别的形状（正方形、圆形、三角形），其中他们的分布也是比较不集中的。 假设我们在内圆里面要判断某个东西是属于哪一类别的话，我们该怎么做呢 ？ 方法很简单，就是在内圆里面选择K个数据离我（图中 ？表示）最近的几个点，然后根据少数服从多数的原则，将多数的类别作为我预
kNN算法代码实例和数据集.zip
04-10
参考机器学习第二章KNN(K比邻算法)，对于实例代码提供相对应的数据集 # 1：约会网站 # 2：将图像转换为测试向量，创建1x1024的Numpy数组，然后打开给定的文件，循环读出文件的前32行， # 并将每行的头32个字符值存储在NumPy数组中，最后返回数组
knn算法实例Python版本
09-08
本exe文件适用于win8/10 64位系统 文章请参考本人博客 CSDN MrLevo520或者简书MrLevo520，内有详细分析 1.测试数据集为datacombinlabel.txt 2.测试时注意选择路径，可参考实验截图 最后祝大家学习愉快，转载分享...
KNN算法详解PPT及其代码.rar
12-04
关于KNN算法解释较为清晰明了的PPT与代码，非常适合小白入门，以及作为面试的准备，有助于快速提升机器学习基础算法
KNN算法实例需要的数据
04-18
KNN算法实例需要的数据
KNN算法C++
12-05
C++实现KNN算法，iris数据集验证。iris数据集是一个经典的机器学习数据集。
Leetcode 41. 缺失的第一个正数和Leetcode 155. 最小栈
2301_79614379的博客
04-20 1072
定义一个结构体，数组 data 用于存放推进的数据，数组 min 用于存放最小值，变量 top 存放最后进入的数在 data 的下标，变量 mintop 记录最小值在 min 中的下标。循环遍历数组 nums ，如果该位置的值大于 0 并且不小于数组长度，让哈希表 table 在该值的位置自加。获取堆栈中的最小元素时，根据 mintop 的值返回数组 miin 中的元素。返回栈顶元素时，根据 top 的值返回数组 data 中的元素。--> 返回 -3.输入：nums = [3,4,-1,1]
力扣---从中序与后序遍历序列构造二叉树
m0_71536793的博客
04-20 459
力扣 中序遍历 后序遍历 建树
算法刷题-16
qq_45773834的博客
04-21 673
学习来源： leetcode，牛客 https://programmercarl.com https://www.yuque.com/taxing-qarr6/hxitgt/dedugmp09knerdi1
力扣HOT100 - 543. 二叉树的直径
最新发布
qq_61504864的博客
04-23 162
【代码】力扣HOT100 - 543. 二叉树的直径。
knn算法实例带数据集
06-11
好的，下面是一个简单的KNN算法实例，包括一个数据集。请注意，这个数据集只是一个示例，您可以根据自己的需求修改它。 ```python import math # 定义KNN算法 def knn(data, query, k, distance_fn, choice_fn): """ data: 训练数据，是一个列表，每个元素都是一个元组，元组的第一个元素是数据点的特征，第二个元素是数据点的标签 query: 查询数据，是一个元组，元组的第一个元素是查询点的特征 k: 选择最近邻居的数量 distance_fn: 距离函数，用于计算数据点之间的距离 choice_fn: 投票函数，用于选择最终的标签 """ # 计算查询点与每个数据点之间的距离 distances = [] for index, point in enumerate(data): distance = distance_fn(point[0], query) distances.append((distance, index)) # 按照距离排序 distances = sorted(distances) # 选择最近的k个邻居 neighbors = distances[:k] # 对邻居进行投票，选择最终的标签 labels = [data[i][1] for distance, i in neighbors] return choice_fn(labels) # 定义欧几里得距离函数 def euclidean_distance(point1, point2): """ point1: 特征向量1 point2: 特征向量2 """ distance = 0 for i in range(len(point1)): distance += pow(point1[i] - point2[i], 2) return math.sqrt(distance) # 定义投票函数，选择标签出现最多的那个 def mode(labels): """ labels: 标签列表 """ return max(set(labels), key=labels.count) # 定义一个数据集 data = [ ([1, 2, 3], 'A'), ([4, 5, 6], 'B'), ([7, 8, 9], 'C'), ([10, 11, 12], 'D') ] # 测试KNN算法 print(knn(data, [1, 2, 1], 3, euclidean_distance, mode)) # 输出 A ``` 带有数据集的KNN算法实现到这里就结束了，您可以根据自己的需求修改数据集和特征向量的维度。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值