机器学习 1 （KNN原理和入门）

最新推荐文章于 2023-10-09 21:09:59 发布
最新推荐文章于 2023-10-09 21:09:59 发布
阅读量252 收藏 1
点赞数
分类专栏： 人工智能/机器学习
@BeanInJ
本文链接：https://blog.csdn.net/a__int__/article/details/104609692
版权

KNN原理和入门

1、KNN解释

邻近算法，或者说K最近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。

所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。

2、实例：预测电影类型

用于机器学习训练的表
在这里插入图片描述

2.1、算法实现

导入会使用到的库
在这里插入图片描述
打开表
在这里插入图片描述
存数据X、y
在这里插入图片描述
训练数据（机器学习）
在这里插入图片描述
预测电影类型
在这里插入图片描述

2.2、算法原理

计算目标点和标本点之间的距离，根据距离远近，得到对应的概率
在这里插入图片描述
在这里插入图片描述

3、实例：识别手写数字

这里我们准备了5000个手写的数字图片，其中4000个用于训练数据，1000个测试识别
在这里插入图片描述
在这里插入图片描述

3.1、算法实现

导包
在这里插入图片描述
读取显示图片
在这里插入图片描述
将5000个图片以2维数组的形式保存在data中
在这里插入图片描述
X存转成array格式的data、y存一个array格式的一维数组用于区分每个数字（0~9）

y里面存的数字就对应X里面的数据
在这里插入图片描述
在这里插入图片描述
从5000个图片中随机取其中4000个用于训练数据，1000个测试识别
在这里插入图片描述
sklearn中的训练数据必须是二位的

把X_train转成二维
在这里插入图片描述
在这里插入图片描述
选取邻近5个点作为标准训练数据训练标准
在这里插入图片描述
预测
在这里插入图片描述
比对前20个预测的值和训练数据的值
在这里插入图片描述
计算预测的准确率：正确率0.941
在这里插入图片描述
在这里插入图片描述

3.1、算法优化

knn.score可以预测并计算准确率
在这里插入图片描述
我们把近邻数值提高到20，发现准确率反而降低了
在这里插入图片描述
提高准确率：加上权重
在这里插入图片描述
更换距离计算方式：p，不写p默认=2是欧式距离，p=1是曼哈顿距离
在这里插入图片描述
开启多线程处理数据：n_job，n_job=-1时电脑有几个cpu就开启几个线程
在这里插入图片描述

BeanInJ
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
机器学习算法—KNN算法原理
weixin_44355063的博客
01-06 657
机器学习算法—KNN算法原理 概述： KNN算法一般也会经常被称为K邻近算法，其核心思想是根据训练集中的样本分类计算测试集中样本与训练集中所有样本的距离，根据所设定的K值选取前K个测试样本与训练样本最近的结果，结果中大多数训练样本所处在的类别即是本测试样本的类别。因训练样本的分类结果为已知因此KNN算法属于有监督学习算法。 算法原理： 1、以下图样本散点图展示训练集的整体分布情况 从散点图中可以...
机器学习（KNN一）——原理概述
张连海
04-19 3750
从这篇博客开始机器学习最大的一块——分类（有监督学习），并以KNN做为开篇。（当然KNN也可用做回归）
【机器学习】KNN 算法原理与实现
jeffery0207的博客
03-31 1301
1、KNN算法概论　　kNN算法的核心思想是：如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。 K 的一般取值有 3， 5， 7。2、KNN算法详解     KNN是通过测量不同特征值之间的距离进行分类。它的的思路是：如果一个样本在特征空间中的...
机器学习最简单算法——KNN算法（k-Nearest Neighbor）.md
10-18
机器学习算法-KNN最近邻，文章介绍机器学习入门基础，包括有监督、无监督、强学习等，介绍KNN算法原理。
机器学习-knn(k近邻)算法原理及实现
qq_52095705的博客
11-29 2145
前言 经典的knn了解一下。 1.算法思路 1.1算法基本思想 knn的基本思想:需要确定一个样本A的类别，可以计算出它与所有训练样本的距离，然后找出和该样本距离最小的k个样本，对这k个样本的类别进行统计，样本数最多的那个类别就是我们A的类别了。 1.2预测算法流程 knn没有需要求解的参数，没有训练过程，参数k由人工指定。对于分类问题，给定n个训练样本(xi,yi)，xi为特征向量，yi为标签值。设定合适的参数k，类别数为c，待分类的样本为下。算法的预测流程如下。 (1)在训练数据中找出离x最近的k个样本
机器学习入门KNN的案例
最新发布
05-25
通过理解KNN算法的原理，动手实践案例，并不断调整优化，你将能够更好地掌握这一机器学习基石，为后续深入学习其他复杂的机器学习算法打下坚实的基础。在实际应用中，结合其他技术，如特征工程、超参数调优等，可以...
python机器学习入门，KNN鸢尾花分类
08-05
总结起来，Python机器学习入门的关键在于掌握基础的编程技能、理解数据处理和特征工程，以及对各种算法的原理和实现。KNN算法作为实例，可以帮助初学者快速建立起对机器学习的理解，并为进一步学习更复杂的算法打下...
机器学习实战 - k近邻算法（KNN算法）总结
04-12
适合机器学习实战入门新手 K-近邻算法，又称为 KNN 算法，是数据挖掘技术中原理最简单的算法。 KNN 的工作原理：给定一个已知类别标签的数据训练集，输入没有标签的新数据后，在训练数据集中找到与新数据最临近的 K ...
KNN.zip_knn算法_机器学习；knn；分类；python
09-24
综上所述，KNN算法是一种简单而实用的分类方法，尤其适用于初学者入门机器学习。然而，理解其工作原理并熟悉Python中的实现是提升模型性能的关键。通过不断的实践和优化，KNN算法可以在许多实际问题中发挥重要作用。
说一下最简单的机器学习模型KNN（k-近邻），入门机器学习必备！！！
12-21
KNN，全称为k-近邻算法，是机器学习领域中最基础且易于理解的模型之一。它基于一个直观的概念：如果一个样本在特征空间中与其他样本...不过，对于初学者来说，KNN是理解机器学习基本原理和预测过程的一个很好的起点。
机器学习-分类之K近邻算法(KNN)原理及实战
周先森爱吃素的博客
11-30 895
K近邻算法原理及实战。
机器学习之KNN算法原理
SKIp121whats112的博客
01-31 6924
机器学习之KNN算法原理
KNN算法（k近邻算法）原理及总结
m0_74405427的博客
10-09 5万+
KNN 算法，或者称 k最邻近算法，是有监督学习中的分类算法。它可以用于分类或回归问题，但它通常用作分类算法。
KNN算法（一） KNN算法原理
热门推荐
weixin_45014385的博客
03-20 12万+
一.KNN算法概述 KNN可以说是最简单的分类算法之一，同时，它也是最常用的分类算法之一，注意KNN算法是有监督学习中的分类算法，它看起来和另一个机器学习算法Kmeans有点像（Kmeans是无监督学习算法），但却是有本质区别的。那么什么是KNN算法呢，接下来我们就来介绍介绍吧。 二.KNN算法介绍 KNN的全称是K Nearest Neighbors，意思是K个最近的邻居，从这个名字我们就能看出一些KNN算法的蛛丝马迹了。K个最近邻居，毫无疑问，K的取值肯定是至关重要的。那么最近的邻居又是怎么回事呢
K近邻算法(KNN)原理小结
小白学视觉
02-28 4946
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达目录1. KNN算法原理2. KNN算法三要素3. KNN算法之暴力实现原理4. KNN算法之KD树实现原理5. KN...
机器学习KNN（K近邻）算法及其基本原理介绍
白话机器学习
05-07 2110
KNN(K-Nearest Neighbor)，也叫K近邻，是最简单的机器学习算法之一，对于分类和归回问题均适用，是一种有监督学习算法。 算法的基本假设是，如果我们找到某个样本在特征空间中的K个与其最相似（即特征空间中最近邻）的样本，那么这K个样本中的大多数属于某一个类别，则该样本也属于这个类别。
【机器学习】最近邻算法KNN原理、流程框图、代码实现及优缺点
AMG_GT的博客
07-14 2万+
通过机器学习教学视频，初识K-Means算法，对原理公式推导、Python代码实现部分小程序，有了一些自己的理解。因此在此整理一下，既是对自己学习的阶段性总结，也希望能和更多的朋友们共同交流学习相关算法，如有不完善的地方欢迎批评指正。前后花费3天时间，不断修改，完善后才发出来，转载请注明出处，谢谢！1、K-Means概念及原理2、K-Means算法流程3、K-Means代码实现4、K-Means优...
KNN算法原理
weixin_44114071的博客
11-02 3667
1、KNN介绍 K近邻算法，也叫KNN算法，是机器学习中最基本的算法。其核心思想是给定一些已经分好类的样本，当一个新样本加入时，计算它到每个数据的欧氏距离，然后选择前K个最近的距离，看属于那个类别最多，那这个新样本就属于这个类别。KNN算法主要用来解决分类问题，当然也可以解决回归问题（比较少），当问题是二分类时，K值通常选择1、3、5、7等奇数，这样可以避免平局。 2、K近邻的决策边界以及K的选择...
KNN 原理及参数总结
平凡简单的执着
01-31 2万+
前言：针对一个完整的机器学习框架目前还没有总结出来，所以目前只能总结每一个单独的算法。由于现在研究的重点是算法，所以对于数据的处理，数据的分析和可视化呈现，在现阶段并不进行展示（这样容易陷入纠结和浪费过多时间）。但是，当理解算法的基本原理和实现方法之后，再回过头来从头开始，实现一个完整的机器学习流程。 1. KNN 原理 KNN是一种即可用于分类又可用于回归的机器学习算法。对于给定测试样本，基于距...
机器学习基础：预测数据分析入门
1. **机器学习基础概念**：介绍机器学习的基本定义，分类（监督学习、无监督学习、强化学习）以及它们在数据分析中的应用。 2. **基础算法**：讲解常见的机器学习算法，如线性回归、逻辑回归、决策树、随机森林、...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值