KNN分类(Python实现）

最新推荐文章于 2024-05-09 19:20:18 发布
最新推荐文章于 2024-05-09 19:20:18 发布
阅读量1.4k 收藏 16
点赞数 1
分类专栏： 机器学习 文章标签： 分类 python 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45830471/article/details/131758487
版权

K-近邻算法（KNN）

工作原理

存入一个样本数据集合，也称训练样本数据集合，并且样本数据集中每个数据都存在标签（知道每一位样本数据与所分类的对应关系），输入新数据，将新数据的每个特征与样本集中数据的每个特征进行比较，然后提取样本集中特征最相似数据的分类标，一般取前k个最相似的数据，k值一般不大于20，这k个数据中出现次数最多的分类，作为新数据的分类

一般流程

1.收集数据

2.准备数据：距离计算所需要的数值，最好是结构化的数据格式

3.分析数据

4.测试数据：计算错误率

6.使用方法：先输出样本数据和结构化的输出结果，然后根据KNN算法判断输入数据属于哪个分类

优缺点：

优点：精度高，对异常值不敏感，无数据输入假定

缺点：计算复杂度高，空间复杂度高

使用范围：数值型和标称型

KNN算法实战案例

1.简单KNN算法实现

准备简单训练数据集样本

#导入科学计算包
from numpy import *
#导入运算符模块
import operator
#定义简单训练样本集
def createDataSet():
    group=array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    #按照顺序定义标签
    labels=['A','A','B','B']
    return group,labels

这里提供一个简单训练数据样本

在这里插入图片描述

group矩阵的每一行代表一个数据坐标，label集合与group行数对应数据的类别标签

使用KNN算法分类器预测未知类别数据种类

#导入科学计算包
from numpy import *
#导入运算符模块
import operator
#导入训练数据集
import KNN as dateSet
#使用KNN算法
def classify(inX,dataSet,labels,k):
    #1.计算未知类别数据与训练数据集中各个数据的距离，使用欧拉距离公式计算
    #得到训练集样本个数
    dataSetSize=dataSet.shape[0]
    #将未知标签数据矩阵行复制成与训练集矩阵行数一样后再与训练集矩阵做减法，这里未知数据矩阵中只传了一个样本
    diffMat=tile(inX,(dataSetSize,1))-dataSet
    #将计算结果的矩阵做平方
    sqDiffMat=diffMat**2
    #平方后矩阵计算每行和并返回到一个数组中
    sqDistances=sqDiffMat.sum(axis=1)
    #开根号得到未知标签数据与训练集中所有数据的距离
    distance=sqDistances**0.5
    #2.对距离排序并且选择k个最小的点
    #对距离数组中的元素进行排序，返回数据从小到大的排序的索引数组
    sortedDistanceIndicies=distance.argsort()
    #定义集合统计存放未知类别数据距离训练样本集中最近的k个数据的类别-个数的kv型数据
    classCount={}
    for i in range(k):
        voteIlablel=labels[sortedDistanceIndicies[i]]
        classCount[voteIlablel]=classCount.get(voteIlablel,0)+1
    #按照字典中存放数据的第二个元素值大小类倒序排序,返回一个排序好的列表
    sortedClassCount=sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
    #返回预测结果
    return sortedClassCount[0][0]

#测试
date,label=dateSet.createDataSet()
print(classify([0,0],date,label,2))

欧拉距离计算公式如图所示

在这里插入图片描述

构建好分类器后，后面案例还是会使用到。

2.使用KNN算法改进约会网站配对效果

1.解析收集好的数据，将其格式改变为分类器可以接受的数据，这里的分类器是简单KNN算法实现的分类器

#导入科学计算包
from numpy import *
#将文件中的数据进行处理
def filematrix(filename):
    f=open(filename)
    arrayOfLines=f.readlines()
    nunberofLines=len(arrayOfLines)
    #创建全零数组
    returnMat=zeros((nunberofLines,3))
    classLabelVector=[]
    index=0
    for line in arrayOfLines:
        line=line.strip("\n")
        listFromLine=line.split("\t")
        #特征属性
        returnMat[index,:]=listFromLine[0:3]
        #分类标签
        classLabelVector.append(int(listFromLine[-1]))
        index+=1
    return returnMat,classLabelVector

2.分析数据，在解析好数据之后，我们可以制作散点图来分析数据

#导入matplotlib
import matplotlib
import matplotlib.pyplot as plt
#导入科学计算法
from numpy import *
#导入knn算法
import 处理读取文件数据集及验证训练模型的准确率 as date
fig=plt.figure()
ax=fig.add_subplot(111)
returnMat,classLabelVector=date.filematrix("D:/学习资料/机器学习实战/《机器学习实战》源代码/machinelearninginaction/Ch02/datingTestSet2.txt")
ax.scatter(returnMat[:,0],returnMat[:,1],15.0*array(classLabelVector),15.0*array(classLabelVector))
plt.show()

在这里插入图片描述

根据两个特征散点图很容易区分出数据所属的类别

3.进一步处理数据

由于在计算距离时，每年获得的飞行常客里程数特征值远远大于其它特征值，为了减小该影响，我们可以对数据进行进一步处理–归一化数值，三者特征值都在0-1之间。这里归一化数值使用到公式为

newValue=(oldValue-min)/(max-min)

#导入科学计算包
from numpy import *
#导入knn
import 处理读取文件数据集及验证训练模型的准确率 as dataSet
#定义归一化特征值处理函数
def autoNorm(dataSet):
    minvals=dataSet.min(0)
    maxVals=dataSet.max(0)
    ranges=maxVals-minvals
    normDateSet=zeros(shape(dataSet))
    m=dataSet.shape[0]
    normDateSet=dataSet-tile(minvals,(m,1))
    normDateSet=normDateSet/tile(ranges,(m,1))
    return normDateSet,ranges,minvals

#测试
if __name__=='__main__':
    returnMat, classLabelVector = dataSet.filematrix("D:/学习资料/机器学习实战/《机器学习实战》源代码/machinelearninginaction/Ch02/datingTestSet2.txt")
    normDateSet, ranges, minvals=autoNorm(returnMat)
    print(normDateSet, ranges, minvals)

4.测试算法的准确率

数据准备好之后，我们一般使用数据集的10%来测试算法的准确度，在测试之前我们还需要先制作knn分类器,这里使用的是简单knn算法所用的分类器

#导入科学计算包
from numpy import *
#导入运算符模块
import operator

#使用KNN算法核心
def classify(inX,dataSet,labels,k):
#1.根据欧拉距离公式计算未知分类数据点与训练数据样本点的距离
    #得到训练集样本个数
    dataSetSize=dataSet.shape[0]
    #将未知标签数据矩阵行复制成与训练集矩阵行数一样后再与训练集矩阵做减法，
    diffMat=tile(inX,(dataSetSize,1))-dataSet
    #将计算结果的矩阵做平方
    sqDiffMat=diffMat**2
    #平方后矩阵计算每行和并返回到一个数组中
    sqDistances=sqDiffMat.sum(axis=1)
    #开根号得到未知标签数据与训练集中所有数据的距离
    distance=sqDistances**0.5
#2.根据距离来排序并统计最近的k个数据点分类信息
    #对距离数组中的元素进行排序，返回数据从小到大的排序的索引数组
    sortedDistanceIndicies=distance.argsort()
    #定义集合统计存放未知类别数据距离训练样本集中最近的k个数据的类别-个数的kv型数据
    classCount={}
    for i in range(k):
        voteIlablel=labels[sortedDistanceIndicies[i]]
        classCount[voteIlablel]=classCount.get(voteIlablel,0)+1
#3.选择这k个数据点中种类出现最多的作为预测值
    #按照字典中存放数据的第二个元素值大小类倒序排序,返回一个排序好的列表
    sortedClassCount=sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
    #返回预测结果

    return sortedClassCount[0][0]

测试算法

#测试准确率算法

def datingClassTest():
    hoRatio=0.10
    datingDate,datingLabels=filematrix("D:/学习资料/机器学习实战/《机器学习实战》源代码/machinelearninginaction/Ch02/datingTestSet2.txt")
    normMat,range,minVals=date.autoNorm(datingDate)
    m=normMat.shape[0]
    numTestVeces=int(m*hoRatio)
    errorCount=0.0
    i=0
    while i<numTestVeces:
        classifierResult=order.classify(normMat[i,:],normMat[numTestVeces:m,:],\
        datingLabels[numTestVeces:m],3)
        print(f"knn预测结果是:{classifierResult},真实结果是:{datingLabels[i]}")
        if (classifierResult!=datingLabels[i]):
            errorCount+=1.0
        i+=1
    print(f"错误了率是{errorCount / float(numTestVeces)}")

根据测试之后，该算法的错误率为0.05，当然这与数据集的选择也有很大关系

5.预测未知分类数据的类别

在测试问准确率后，就可以根据该算法来预测未知分类数据类别，

#导入科学计算包
from numpy import *
#导入数据集
import 处理读取文件数据集及验证训练模型的准确率 as algorithm
#导入分类器
import KNN算法核心 as prodict
#导入归一化特征值
import 将数据进行归一化特征值 as format
#预测函数
def classifyPerson():
    result=["不喜欢","魅力一般的人","极具魅力的人"]
    percentTats=float(input("玩游戏所耗时间百分比？"))
    ffMiles=float(input("每年获得飞行常客里程数？"))
    iceCream=float(input("每周消耗冰淇淋公升数"))
    datingDataMat,datingLables=algorithm.filematrix("D:/学习资料/机器学习实战/《机器学习实战》源代码/machinelearninginaction/Ch02/datingTestSet2.txt")
    normMat, range, minVals = format.autoNorm(datingDataMat)
    inArr=array([ffMiles,percentTats,iceCream])

    classifierResult=prodict.classify((inArr-minVals)/range,normMat,datingLables,3)
    print(f"很有可能喜欢{result[classifierResult]}")

#测试
if __name__=="__main__":
    classifyPerson()
3.手写数字识别系统

1.解析收集好的数据，将其32X32矩阵转换1X1024的矩阵

#导入科学计算包
from numpy import *
#数据处理文件
def imgvector(filename:str):
    returnVect=zeros((1,1024))
    f=open(filename,'r')
    for i in range(32):
        lineStr=f.readline()
        for j in range(32):
            returnVect[0,32*i+j]=int(lineStr[j])
    return  returnVect

2.导入分类器，同时预测算法的准确率

#导入科学计算包
from numpy import *
#导入os包
from os import listdir
#导入knn分类器
import KNN算法核心 as algorithm
#数据处理文件
def imgvector(filename:str):
    returnVect=zeros((1,1024))
    f=open(filename,'r')
    for i in range(32):
        lineStr=f.readline()
        for j in range(32):
            returnVect[0,32*i+j]=int(lineStr[j])
    return  returnVect

#测试算法准确度
def handwritingClassTest():
    hwLabels=[]
    trainingFileList=listdir("D:/学习资料/机器学习实战/《机器学习实战》源代码/machinelearninginaction/Ch02/trainingDigits")
    m=len(trainingFileList)
    trainingMat=zeros((m,1024))
    for i in range(m):
        fileNameStr=trainingFileList[i]
        fileStr=fileNameStr.split('.')[0]
        classNumStr=int(fileStr.split('_')[0])
        hwLabels.append(classNumStr)
        # print(f"D:/学习资料/机器学习实战/《机器学习实战》源代码/machinelearninginaction/Ch02/trainingDigits/{fileNameStr}")
        trainingMat[i,:]=imgvector("D:/学习资料/机器学习实战/《机器学习实战》源代码/machinelearninginaction/Ch02/trainingDigits/"+fileNameStr)
    testFileList=listdir("D:/学习资料/机器学习实战/《机器学习实战》源代码/machinelearninginaction/Ch02/testDigits")
    errorCount=0.0
    mTest=len(testFileList)
    for i in range(mTest):
        fileNameStr=testFileList[i]
        fileStr=fileNameStr.split('.')[0]
        classNumStr=int(fileStr.split("_")[0])
        vectorUnderTest=imgvector("D:/学习资料/机器学习实战/《机器学习实战》源代码/machinelearninginaction/Ch02/testDigits/"+fileNameStr)
        classifierResult=algorithm.classify(vectorUnderTest,trainingMat,hwLabels,3)
        print(f"预测结果是{classifierResult},真实结果是{classNumStr}")
        if (classifierResult!=classNumStr):
            errorCount+=1.0
    print(f"总计错误数是{errorCount}")
    print(f"错误率是{errorCount/float(mTest)}")
#测试
if __name__=='__main__':
    # print(imgvector("D:/学习资料/机器学习实战/《机器学习实战》源代码/machinelearninginaction/Ch02/trainingDigits/0_25.txt"))
    handwritingClassTest()

预测结果错误率为0.01

总结

knn算法是基于实例的学习，使用算法时必须有接近实际数据的训练样本数据，同时必须要花费大量存储空间保存训练数据集，而且还要计算每个数据的距离值，非常耗时，另外一个却显示是，他无法给出任何数据的基础结构信息我们无法知晓平均实例样本，和典型实例样本有什么特征

你的梦想是？
关注
  • 1
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于Python实现的KNN分类实验
毕业作品网站
09-15 1012
实验环境：系统：windows10。
knn(k近邻算法)——python
热门推荐
PY洋洋
01-30 2万+
1. 基本定义 2. 算法原理 2.1 算法优缺点 2.2 算法参数 2.3 变种 3.算法中的距离公式 4.案例实现 4.1 导入相关库 4.2 读取数据 4.3 读取变量名 4.4 定义X,Y数据 4.5 分离训练集和测试集 4.6 计算欧式距离 4.7可视化距离矩阵 4.8 预测样本 4.9 查看正确率 4.10 交叉验证 5.scikit-learn的算法实现 5.1 对上述的再次实现： 5.2 另一种实现方式
机器学习算法之KNN分类算法【附python实现代码！可运行】
xiaoh_7的博客
05-09 1365
本博客介绍了KNNf分类算法的原理和主要思想，同时介绍了如何基于python使用scikit-learn库中的K-最近邻（KNN）分类器在鸢尾花数据集（Iris Dataset）上进行分类预测。
分类算法KNN的python实现
辉的博客
12-28 4009
KNN算法是有监督学习中的分类算法，它是一种非参的，惰性的算法模型。非参的意思并不是说这个算法不需要参数，而是意味着这个模型不会对数据做出任何的假设，与之相对的是线性回归（我们总会假设线性回归是一条直线）。也就是说KNN建立的模型结构是根据数据来决定的，这也比较符合现实的情况，毕竟在现实中的情况往往与理论上的假设是不相符的。惰性的意思是指模型在使用前不会被训练，只有当使用的时候才会被训练。KNN算法优点： 简单易用，相比其他算法，KNN算是比较简洁明了的算法。即使没有很高的数学基础也能搞清楚它的原理。
【建模算法】KNN分类（Python实现）
baidu的专栏
04-24 4080
KNN（K- Nearest Neighbor）法即K最邻近法，最初由 Cover和Hart于1968年提出，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。KNN算法的核心思想是，如果一个样本在特征空间中的K个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。
python实现KNN算法
aouiylfjh的博客
07-03 3494
使用numpy复现KNN算法。（1）更加了解算法以及熟练复现能力。（2）为后续优化改进KNN算法做铺垫。（3）涉及到的运算使用numpy，加快运算。后续，将会如kmeans算法一样，将三支决策思想融入进去，优化算法。使得knn算法的效果提升的更好。
Python语言实现KNN算法
tida_yake的博客
10-14 2193
Python语言重写knn算法 前文：这是一个刚入门机器学习和Python语言的随缘记录学习过程的博客。 那我们就开始。 knn算法原理 不清楚的近邻算法_百度百科，点击这里。 代码内容 编码习惯有不好的地方，请大方地提出您的建议 导入模块 import random import time # 测试性能的用途 import math from sklearn.datasets import l...
KNN分类器实现 python
weixin_41984456的博客
10-24 1050
图中绿色的点就是我们要预测的那个点，假设 K=3。(3)kNN算法又称为k近邻分类(k-nearest neighbor classification)算法,最简单平凡的分类器也许是那种死记硬背式的分类器，记住所有的训练数据，对于新的数据则直接和训练数据匹配，如果存在相同属性的训练数据，则直接用它的分类来作为新数据的分类。计算待分类点与已知类别的点之间的距离按照距离递增次序排序选取与待分类点距离最小的K个点，确定前K个点所在类别的出现次数，返回前K个点出现次数最高的类别作为待分类点的预测分类。
KNN分类算法的Python实现
qq_31895943的博客
03-16 409
详细算法概述详见Peter Harrington所著的《机器学习实战》一书Chp2以下为k-近邻算法的python实现python版本：v3.6.3，平台：Pycharm编程笔记：def 和 for 循环后需加 ':'argsort() 返回的是从小到大排序的元素对应的序号；sorted() 返回排序后的元素classCount.iteritems() 改为 classCount.items() ...
基于python实现KNN分类算法
09-19
在本文中，我们将重点关注KNN在分类问题上的应用，特别是在Python环境下的实现。 KNN算法的核心思想是“近朱者赤，近墨者黑”，即一个样本的类别可以通过其最近邻的样本来决定。具体来说，对于一个新的未知类别的...
python实现KNN分类算法
09-18
主要为大家详细介绍了python实现KNN分类算法，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
kNN.zip_KNN 分类 python_knn_knn python实现_knn分类python_数字数据集
09-23
在Python中，我们通常会用到`sklearn`库中的`KNeighborsClassifier`类来实现KNN分类。首先，我们需要导入必要的库，如`numpy`用于数值计算，`pandas`用于数据处理，以及`matplotlib`进行数据可视化。 ```python ...
KNN算法Python实现
09-02
在这个压缩包文件中，我们可以期待找到一些关于KNN算法的Python实现，以及可能的实验指导和解释文档，这对于学习和理解KNN算法非常有帮助。 1. **KNN算法的基本原理**： KNN算法基于“近朱者赤，近墨者黑”的原则...
Python实现KNN算法（附源码）
不断学习，不断进步，提高自己
05-31 4650
本篇我们将讨论一种广泛使用的分类技术，称为k邻近算法，或者说K最近邻(KNN，k-Nearest Neighbor)。所谓K最近邻，是k个最近的邻居的意思，即每个样本都可以用它最接近的k个邻居来代表。01、KNN算法思想如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。KNN方法在类别决策时，只与极少量的相邻样本有关。
K近邻（KNN）原理及python实现
qq_46033892的博客
08-10 3280
knn最近邻入门学习以及python代码实现
KNN算法简介及其python实现
m0_73816372的博客
10-24 1300
KNN算法简介及其python实现
用python实现KNN算法
技术宅--火狼的专栏
04-22 5800
KNN简介 KNN(K-nearest neighbor)，即K近邻算法。当需要表示一个样本（值）的时候，就使用于该样本最接近的K个邻居来决定。KNN即可以用于分类，也可以用于回归。 数据集地址 https://vincentarelbundock.github.io/Rdatasets/csv/datasets/iris.csv RNN算法 # -*- coding:utf-8 -*- import numpy as np class KNN: def __init__(self,k):
Python实现KNN算法
qq_62945476的博客
03-25 1万+
KNN算法
Python Knn算法详解（近邻算法）
qq_42448606的博客
11-04 4633
KNN一、算法简述二、运行原理2.1、算法核心思想2.2、距离计算2.3、K值选择三、算法实现3.1、Sklearn KNN参数概述3.2、 KNN代码实例四、算法特点五、算法优缺点六、KNN 和 K-means比较 一、算法简述 KNN 可以说是最简单的分类算法之一，同时，它也是最常用的分类算法之一。注意：KNN 算法是有监督学习中的分类算法，它看起来和另一个机器学习算法 K-means 有点像（K-means 是无监督学习算法），但却是有本质区别的。 二、运行原理 2.1、算法核心思想 KNN 的全称是
knn分类python实现
最新发布
06-12
K-Nearest Neighbors (KNN) 是一种基于实例的学习方法，用于分类和回归问题。在Python中，我们可以使用scikit-learn库来实现KNN算法。以下是基本的步骤： 1. 导入必要的库： ```python from sklearn.neighbors import KNeighborsClassifier import numpy as np ``` 2. 准备数据集：通常包含特征（X）和目标标签（y）。假设有一个二维数组`X`和一个一维数组`y`。 ```python X = ... # 特征数据（numpy数组或pandas DataFrame） y = ... # 目标标签数据（numpy数组） ``` 3. 创建KNN分类器并设置k值： ```python k = 3 # 选择邻居的数量 knn = KNeighborsClassifier(n_neighbors=k) ``` 4. 训练模型： ```python knn.fit(X, y) ``` 5. 预测新数据： ```python new_data = ... # 新的输入数据（同样形状的特征数据） prediction = knn.predict(new_data) ``` 6. 可视化或评估性能（可选）： 使用`accuracy_score`, `confusion_matrix`, 或其他评估指标来了解模型性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值