机器学习之K近邻简介

最新推荐文章于 2024-01-30 21:12:09 发布
最新推荐文章于 2024-01-30 21:12:09 发布
阅读量258 收藏
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011283591/article/details/70792916
版权

描述

KNN是常见的监督学习算法，输入是实例的特征向量，输出是实例对应的类别。
给定测试样本，基于某种距离计算方法，计算出与其距离最近的K个训练样本，根据多数表决方法判定属于哪个类别。

典型的懒惰学习算法，不具有显示的学习过程。在接受数据时，不做处理，当真正计算的时候才按照算法流程走。
三大要素：

  • K值的选择
    • 较小的K，会导致过拟合
    • 较大的K，会导致欠拟合
  • 距离的度量。
    不同的距离度量算法所确定的点的距离是不同的。
    • Lp距离
    • Min距离
  • 分类决策规则

算法构造

  • 根据已知的实例作为参考
  • 选择K（一般选择奇数，并且需要多次试验来确定）
  • 计算所有样本与输入样本之间的关系（计算方法有许多种）
  • 将距离排序，并选择最仅的K个实例
  • 在K个样本中，根据多数表决（加权平均）原则把输入实例归结为该类

kd树的构造。
由于KNN可能的数据量比较大，导致时间复杂度非常大，为了提升效率，引出了kd树数据结构（kd Tree）。
平衡kd树未必是效率最高的。

评价

  • 精度高，异常值不敏感
  • 计算复杂度高。当某类数据占据较多的时候，容易把实例归纳为该类，产生误差
  • 适用于标称型和数值型

优化

加权KNN
不是对元素简单的求平均，而是求他的加权平均
每一项的值*他的权重。

进阶

降维
距离计算的各种算法（欧氏距离，曼哈顿距离等）
KDTree
ballTree

机器学习之k近邻
seaboat——a free boat on the sea.（公众号：远洋号）
04-28 1796
核心思想KNN算法假设给定的训练集中的实例都已经分好类了，对于新的实例，根据离它最近的k个训练实例的类别来预测它的类别。即这k个实例大多数属于某个类别则该实例就属于某个类别。比如k为5，离新实例a最近的5个样本的情况为，3个样本属于A类，1个样本属于B类，一个样本属于C类，那么新实例a属于A类。常用距离 欧氏距离 d(x,y)=∑ni=1(xi−yi)2−−−−−−−−−−−−√d(x,y) =
简单粗暴理解与实现机器学习之K-近邻算法（一）：K-近邻算法(KNN)概念、电影类型分析案例
汪雯琦的博客
03-03 1822
K-近邻算法 文章目录K-近邻算法学习目标1.1 K-近邻算法简介1 什么是K-近邻算法1.1 K-近邻算法(KNN)概念1.2 电影类型分析 学习目标 掌握K-近邻算法实现过程 知道K-近邻算法的距离公式 知道K-近邻算法的超参数K值以及取值问题 知道kd树实现搜索的过程 应用KNeighborsClassifier实现分类 知道K-近邻算法的优缺点 知道交叉验证实现过程 知道超参数搜索过程 ...
K近邻
yy2050645的博客
07-04 967
这篇博客给大家介绍一下k近邻分类算法。k近邻算法可以认为是机器学习中最简单的算法了，其原理简单，直观。k近邻输入为样本的特征向量；输出为样本类别，不只是二分类，也可以是多分类问题。...
K-近邻算法全面解析
OuDiShenmiss的博客
11-24 6309
1 K-近邻算法简介 K-近邻(K-Nearest Neighbor，KNN)，采用的是测量不同特征值之间距离的方法进行分类。对当前待分类样本的分类，需要大量已知分类的样本的支持，因此KNN是一种有监督学习算法。 2 K-近邻算法的三要素 距离度量、K值的选择、分类决策规则 2.1 样本间距离的计算方法： 既然要找到待分类样本在当前样本数据集中与自己距离最近的K个邻居，必然就要确定样本间的距离计算方法。样本间距离的计算方法的构建，与样本的向量表示方法有关，当建立样本的向量表示方法时，必须考虑其是否便于样
K-最近邻法(KNN)简介
网络资源是无限的
11-07 1万+
K-最近邻法(KNN)简介
k近邻（kNN）算法简介
热门推荐
Star——Flying in the cyberspace
05-30 1万+
K最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。 一、算法概述     k -近邻算法是基于实例的学习方法中最基本的，先介绍基于实例学习的相关概念。 基于实例的学习。 1、已知一系列的训练样例，很多学习方法为目标函数建立起明确的一般化描述；但与此不同，基于实例的学习方法只是简单地
机器学习之K近邻算法
青枫浦上不胜愁
09-06 872
分类，例如，根据口味和色泽划分新的葡萄酒的类别，根据内容形式划分新上映电影的类别，根据过往人脸特征进行人脸识别等。这些问题都 可以采用机器学习中非常经典的K近邻算法来解决。
Python 机器学习 K-近邻算法
最新发布
weixin_42098295的博客
01-30 1620
它是一种基于实例的学习（Instance-based learning），或者称为懒惰学习（Lazy learning），因为它不会从训练数据中学习一个固定的模型，而是使用整个数据集进行预测。在回归问题中，则通常是这些邻居值的平均值。选取合适的K值是至关重要的，太小的K值会使模型对噪声敏感，而太大的K值可能使模型无法捕捉到数据的特性。参数指定了计算最近邻的方法，可选项包括 'auto', 'ball_tree', 'kd_tree', 'brute'，其中'auto'会自动选择最适合数据的算法。
机器学习——k近邻算法
unseven的博客
03-14 940
目录算法介绍k近邻算法python代码k近邻算法归一化特征值k近邻算法优缺点 算法介绍 k近邻法(k-nearest neighbors)是由Cover和Hart于1968年提出的，它是懒惰学习(lazy learning)的著名代表。 k近邻算法简单、直观：给定一个训练数据集（其中的实例类别已定），对新的输入实例，在训练数据集中找到与该实例最接近的k个实例，这k个实例的多数属于某个类，就把该输入实例分为这个类。 举个栗子 1.给定了红色和蓝色的训练样本，绿色为测试样本 2.计算绿色点到其他点的距离 3.
机器学习1：k 近邻算法
weixin_60530224的博客
10-09 2179
现在给定一个测试样本 (6, 4)，使用 k 近邻算法进行分类，其中 k=5。请 计算该测试样本的类别。 1) 请简述 k 近邻算法的算法步骤 2) 现在给定一个测试样本 (6, 4)，使用 k 近邻算法进行分类，其中 k=5。 分别使用欧氏距离、曼哈顿距离和棋盘距离来计算测试样本与训练样本 之间的距离，并观察它们对最终分类结果的影响。
机器学习之k-近邻算法.zip
04-23
《机器学习之k-近邻算法》 k-近邻（K-Nearest Neighbors，简称KNN）算法是监督学习领域中一个基础且重要的算法，尤其在分类问题上表现突出。KNN属于懒惰学习（Lazy Learning）类型，因为它并不进行模型训练，而是将...
机器学习-K近邻
01-20
【机器学习-K近邻】 K-最近邻（K-Nearest Neighbors，简称KNN）是一种基础且重要的监督学习算法，它在机器学习领域中独树一帜。与其他学习算法不同，KNN被称为“懒惰学习者”，并非因为它简单易懂，而是因为它并不...
机器学习实战 - k近邻算法（KNN算法）总结
04-12
机器学习实战 - k近邻算法（KNN算法）总结 适合机器学习实战入门新手 K-近邻算法，又称为 KNN 算法，是数据挖掘技术中原理最简单的算法。 KNN 的工作原理：给定一个已知类别标签的数据训练集，输入没有标签的新数据...
机器学习之朴素贝叶斯简介
将登太行雪满山
04-09 1380
综述适用于标称型数据的监督学习方法。NB本质是个分类问题，根据样例属于哪个类的概率的大小判断样本属于哪个类。 朴素贝叶斯有两个基本条件：朴素和贝叶斯定理朴素：朴素指的是特征之间的相互独立性假设，就是特征1和特征2之间发生的概率相互不受影响。 特征1发生与否和特征2无关。贝叶斯定理：算法流程NB中常用的几个模型：高斯模型通过高斯分布，可以把连续的变量转换成标称型变量。 多项式模型多项式分布适合词
机器学习之集成学习简介
将登太行雪满山
05-06 770
综述集体学习： 将不同的分类器组合起来。 先产生个体学习，在根据多个个体学习完成学习任务。 每个个体学习可以采用的算法可以不同集成学习可能有不同的提升/不变/降低 这要求学习器： 单个个体不能太差 学习器之间要有差异/多样性 理论上来说，如果单个学习器之间相互独立，当个数很多的时候，集成学习的正确率非常高，趋近于满分如何产生好而不同的个体学习器，是集成学习的核心问题bagging有放回 从有
机器学习综述
将登太行雪满山
04-05 768
基本概念机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。 基本目标是学习一个x->y的函数（映射），来做分类或者回归的工作。 “用机器学习的方法来进行数据挖掘。”机器学习是一种方法；数据挖掘是一件事
机器学习之特征工程简介
将登太行雪满山
05-20 612
简介特征工程非常重要。对于模型的效果起大了极大的作用。实际开发中，大部分的时间都花费在特征工程上面。特征工程最重要的是对具体业务的深刻理解。减少数据存储和输入的代价，降低数据的维度 发现更多深入的特征，提升准确率。特征工程和降维，是处理高维度数据的两大主要手段。 特征选择（选）去掉无关特征，只保留核心特征。从总体特征中选择一个最好（最能代表整体）的特征子集 本质上是一个降维的过程。 核心是不丢失关
机器学习之SVM简介
将登太行雪满山
04-26 542
综述在深度学习（2012）出现之前，SVM是ml算法中最优秀的算法。 支持向量机，本质是个分类器。核技巧+间隔最大 当间隔最大的时候，他的泛化能力是最强的，鲁棒性最高。 基于最大间隔分割数据。分割的超平面有无数个，找的是最大化的 寻找一个能把样本分割开的超平面（分割超平面）Max Margin Hyperplane 求解凸二次规划的最优化算法。 支持向量：超平面上的那些点（样本） 当样本有多个
机器学习入门：K-近邻算法原理与应用
机器学习—K-近邻算法[入门] K-近邻算法（K-Nearest Neighbour algorithm），又称为KNN算法，是数据挖掘技术中原理最简单的算法。该算法的工作原理是：给定一个已知标签类别的训练数据集，输入没有标签的新数据后，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值