数据挖掘：模型选择——KNN

最新推荐文章于 2022-12-02 11:45:37 发布
最新推荐文章于 2022-12-02 11:45:37 发布
阅读量642 收藏 1
点赞数 1
分类专栏： 数据挖掘 文章标签： 机器学习 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/avenuecyy/article/details/105350493
版权
KNN是一种监督学习算法，基于近邻原则进行分类。本文介绍了KNN的工作原理，强调了k值选择、距离度量和分类决策规则的重要性，并探讨了KNN的优缺点，如精度高但计算复杂度高。
摘要由CSDN通过智能技术生成

KNN简介

KNN是监督学习算法，其主要思想就是近朱者赤，近墨者黑。找出新样本与训练数据的最近的K个实例，哪个类别的个数多，就把该样本判定为哪一类。
下面用这个图进行下说明。如果选择离新样本最近的3个实例，那么圆被判定为三角，如果选择5个实例，那么则被判定为方块。
在这里插入图片描述

KNN工作原理

工作原理如下：

假设有一个带有标签的样本数据集（训练样本集），其中包含每条数据与所属分类的对应关系。
输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较。

  1. 计算新数据与样本数据集中每条数据的距离。
  2. 对求得的所有距离进行排序（从小到大，越小表示越相似）。
  3. 取前 k （k 一般小于等于 20 ）个样本数据对应的分类标签。

求 k 个数据中出现次数最多的分类标签作为新数据的分类。

KNN基本要素

通过上述原理的说明，可将主要参数归总为k值的选择、距离度量以及分类决策规则是k近邻算法的三个基本要素。

k值的选择

    最低0.47元/天 解锁文章
    AvenueCyy
    关注
    专栏目录
    数据挖掘--模型选择
    qq_20800249的博客
    04-23 3268
    名称 假设 /关键 优缺点 模型 策略 算法 感知机 拉格朗日对偶 1.初值不同结果不同 2.无法处理非线性 3.对偶形式将内积存储（Gram矩阵），加速计算       误分类点总数最小 梯度下降   KNN 1.k值选择（交叉验证法） 2.距离度量 3.分类决策规则 1.对异常点不敏感 2.不具有显示学习过程（可解释行差） 3.适用于...
    数据挖掘：模型选择——SVM
    AvenueCyy的博客
    04-05 862
    本文主要参考B站UP主春暖花开Abela讲解的SVM，对SVM的学习进行的整理。另外也推荐B站的白板推导，对数学公式讲解的更为细致。 最优化问题 在一定条件下，解决求函数的最大/最小值的问题。 拉格朗日乘子法 拉格朗日乘子法计算模型如下。k为约束条件的个数，hk(x)为约束条件。 相切的时候取极值，此时两个函数的梯度共线，所以两个函数分别求导后，应该是线性关系。 将有约束的问题转为无约束的问题...
    数据挖掘之模型选择和融合
    kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
    04-05 405
    选模型： 用k折交叉验证来选取效果最好的模型。 选超参数： 确定了模型之后用GridSearch找到这个模型最好的超参数。 模型融合： Bagging: 每次取数据集的一个子集训练模型 分类就用这些模型的结果投票 回归就对这些模型取均值 Stacking: 用多种预测器的结果训练 Boosting: 用XGboost计算feature importance 用GridSearch...
    数据竞赛技巧|数据挖掘(三):模型选型
    DataFountain的博客
    08-04 379
    数据竞赛技巧|数据挖掘(三):模型选型
    模型选择与调优（KNN）
    qq_32350719的博客
    10-18 586
    一、交叉验证（cross validation） 将拿到的训练数据，分为训练和验证集。以下图为例:将数据分成4份，其中一份作为验证集。然后经过4次(组)的测试，每次都更换不同的验证集。即得到4组模型的结果，取平均值作为最终结果。又称4折交叉验证。 二、超参数搜索-网格搜索 通常情况下，有很多参数是需要手动指定的(如k-近邻算法中的K值)， 这种叫超参数。但是手动过程繁杂，所以需要对模型预设几种超...
    数据挖掘：数据清洗——异常值处理
    01-20
    数据挖掘是信息技术领域的一个关键环节，它涉及到从大量数据中提取有用信息的过程。在这个过程中，数据清洗是非常重要的步骤，特别是异常值处理，因为异常值可能会严重影响分析结果的准确性和可靠性。异常值，又称为...
    数据挖掘：模型选择——监督学习（分类）
    热门推荐
    AvenueCyy的博客
    02-26 1万+
    数据挖掘：模型选择——监督学习（分类） 机器学习算法可分为监督学习和非监督学习。本文主要讨论非监督学习中的分类任务。 一、简单介绍 简单的说，监督学习就是有标签的数据，有需要预测的变量。 分类任务就是预测的变量数据为离散型。比如，将天气数据放入模型中，来预测明天是否下雨(下或不下，两种结果)，为分类任务。预测降雨量具体是多少，为回归任务。 而分类任务一般分为二分类和多分类。先介绍二分类。本文将对一...
    数据挖掘：模型选择——K-means
    AvenueCyy的博客
    04-08 1609
    K-means介绍 K-means是一种无监督的聚类算法，根据各个样本数据间距离的大小，将样本分为K个簇。（也就是K个类别）分成K个簇后，想要达到的效果是每个簇内的点尽量相近，而簇与簇之间的距离尽量较大。 算法流程 如下图所示。 随机选取K个样本作为最开始的质心。这样就出现了K个不同的簇。 计算每个簇内的所有样本点的均值，将这个均值点作为新的质心。 计算所有样本到这些质心的距离，选择其中离某个...
    数据挖掘：特征工程——特征处理与特征生成
    AvenueCyy的博客
    02-24 1万+
    数据挖掘：特征工程——特征处理与特征构建 这里贴一张网上特征工程的流程，供大家学习。 一、什么是特征工程 特征工程：其本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。。就是获取更好的训练数据。主要有两个方面： 获取更好的数据 使机器学习算法达到最优 二、特征工程处理的意义 有这么一句话在业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而...
    数据挖掘---分类模型评估与选择
    weixin_44748341的博客
    01-04 477
    文章目录一、混淆矩阵二、ROC曲线 一、混淆矩阵 caret包，构建混淆矩阵 confusionMatrix(预测结果类标签，真实结果类标签) #这里要求函数的两个参数为因子变量 二、ROC曲线 ROC曲线：接收者操作特征曲线，显示了给定模型的真正例率（TPR）和假正例率（FPR）之间的权衡。 垂直轴表示TPR：sensitivity 水平轴表示FPR：1-specificity R语言实现需要使用ROCR包和gplots包 label<-c(1,1,-1,1,1,-1,-1,-1,1
    分类数据-KNN：使用KNN创建基于特征直接预测目标类数据点的模型。 （给定具有隐藏功能列名称的数据集）
    02-12
    分类数据KNN 使用KNN创建基于特征直接预测目标类数据点的模型。 （给定具有隐藏功能列名称的数据集）
    数据挖掘（二）模型评估与选择
    qew2017的博客
    11-15 606
    2.1经验误差与过拟合 分类错误的样本数占样本总数的比例称为“错误率”（e rate），即如果在m个样本中有a个样本分类错误，则错误率E=a/m； 1-a/m称为“精度”（ accuracy），即“精度=1-错误率” 更一般地，我们把学习器的实际预测输出与样本的真实输出之间的差异称为“误差”（eror这里所说的“误差”均学习器在训练集上的误差称为“训练误差”（ training error）...
    吴裕雄 数据挖掘与分析案例实战（10）——KNN模型的应用
    weixin_30381793的博客
    12-03 405
    # 导入第三方包import pandas as pd # 导入数据Knowledge = pd.read_excel(r'F:\\python_Data_analysis_and_mining\\11\\Knowledge.xlsx')print(Knowledge.shape)# 返回前5行数据print(Knowledge.head()) # 构造训练集和测试集# 导入第三方模...
    【十大经典数据挖掘算法】kNN
    weixin_33774883的博客
    11-27 171
    【十大经典数据挖掘算法】系列 C4.5 K-Means SVM Apriori EM PageRank AdaBoost kNN Naïve Bayes CART 1. 引言 顶级数据挖掘会议ICDM于2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naïve Bayes与...
    【人工智能与机器学习】——K近邻（KNN）与模型选择（学习笔记）
    最新发布
    HinsCoder的博客
    12-02 970
    人们常常说，“近朱者赤，近墨者黑“，”物以类聚，人以群分”，我们想考察一个家庭的经济状况，可以问问住在哪里。如果家住在广州珠江新城，经济状况一定差不了，非富即贵。 在机器学习中，我们可以根据一个数据点（表示一个实体）周围其他数据点的类别情况，判断这个数据点的类别属性。因此引出我们今天讨论的内容——K近邻（K Nearest Neighbor， KNN）算法，在此基础上，进一步思考什么是好的模型。
    KNN的距离都有哪些
    WX_Chen的博客
    07-01 3851
    在KNN算法中，常用的距离有三种，分别为曼哈顿距离、欧式距离和闵可夫斯基距离。 闵可夫斯基距离： 这里的p值是一个变量， 当p=1的时候就得到了曼哈顿距离 ； 当p=2的时候就得到了欧氏距离。 切比雪夫距离： 当p趋向于无穷大时， 曼哈顿距离、欧氏距离和切比雪夫距离都是明可夫斯基距离在特殊条件下的应用。
    K-近邻（KNN）模型详解
    数据森麟
    04-25 1万+
    作者：青十五 来源：青十五K-近邻（K- Nearest Neighbor，KNN）模型是一个非常简单与直观的模型，其基本思想可以用这样一句俗语来解释——“近朱者赤，近...
    数据挖掘经典算法（一）：K近邻（KNN）
    weixin_46322866的博客
    01-02 3995
    目录 一、算法思想 二、算法原理 （1）KNN算法原理 （2）KNN算法三要素 ① 分类决策规则 ② K值的选择 ③ 距离度量 （3）KNN实现方法 ① 构建KD树 ② KD树的搜索 ③ KD树的分类（预测） （4）KNN算法之训练样本不平衡情况 （5）算法优缺点 三、算法实验 （1）数据收集与处理 （2）实验及结果 一、算法思想 在讲解K近邻算法之前，我们先通过一个很简单的例子进入主题。在我们日常生活中，我们会遇到很多决策。比如说，我会考虑换什么手机...
    KNN模型
    wcc8848的博客
    04-27 6355
    KNN模型分为等权和加权模型： 等权模型： ''' import numpy as np import pandas as pd ##初始化训练数据 T = [[3, 104, -1], [2, 100, -1], [1, 81, -1], [101, 10, 1], [99, 5, 1], [98, 2, 1] ] ##预测数据 x_test = [18, 90] ##邻居 K = 5 ###列表 [[dis1，标签1]，[dis2，标签
    数据挖掘：分类方法详解与应用
    本资源是关于数据挖掘原理与算法的第四章，主要探讨了分类...本章内容详细介绍了数据挖掘中的关键任务之一——分类，涵盖了理论概念、实用算法以及实际操作流程，对于理解数据挖掘技术在现实问题中的应用具有重要意义。
    评论
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值