MachineLearning--Knn

最新推荐文章于 2024-03-27 23:59:36 发布
最新推荐文章于 2024-03-27 23:59:36 发布
阅读量520 收藏
点赞数
分类专栏： 机器学习 文章标签： 算法 knn 机器学习 监督学习 懒惰学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lpy_pku/article/details/51536733
版权
KNN是一种基于距离度量的监督学习方法，属于懒惰学习。它通过找到测试样本最近的k个邻居来预测其类别，常用于分类和回归任务。K值的选择对结果有显著影响，过大或过小都会带来不同的误差。尽管KNN计算量大，但其简单易实现且适用于多分类问题。代码实现部分展示了如何用KNN进行分类预测。
摘要由CSDN通过智能技术生成

Knn (k-Nearest Neighbor)
一、算法描述

一种常用的监督学习方法，其工作机制非常简单：给定测试样本，基于某种距离的度量方式(欧氏距离、闵氏距离、曼哈顿距离等)找出训练集中与该样本距离最近的前k个训练样本，并依据k个“邻居”的样本信息进行预测。属于懒惰学习方法[1]。

[1]:懒惰学习(lazy learning)训练阶段仅仅保存样本，训练时间开销为0，待新样本得到后再进行处理;相应的，急切学习(eager learning) 在训练阶段就对样本进行学习处理的方法

KNN图示

二、算法要点
1、距离的度量
欧氏距离、Minkowski距离、曼哈顿距离
参见：
http://www.cnblogs.com/wentingtu/archive/2012/05/03/2479919.html

2、K值选取
K值选取较大，即使用较大邻域内的训练实例进行预测，可以减少学习估计误差，但近似误差会增大；与样本距离较远的训练样本也会对预测结果有影响；
K值选取较小，则近似误差会减小，估计误差会增大；与样本距离较近的训练样本才会对预测结果有影响；预测结果对近邻的训练样本会很敏感。
一般来说，K值取一个比较小的值，通常采用交叉验证法来选择。

3、类别判定
投票法：在分类预测中，

最低0.47元/天 解锁文章
lpy_pku
关注
专栏目录
Machine Learning---1--KNN
qq_38096703的博客
08-30 303
机器学习实战---class 1
Machine Learning-KNN
weixin_34275734的博客
05-05 160
思路：如果一个样本在特征空间中的k个最相近的样本中大多数属于某个类别，则该样本也属于该类别； 这段话中涉及到KNN的三要素：K、距离度量、决策规则 K：KNN的算法的结果很大程度取决于K值的选择； If it's too small, the we gain efficiency but become susceptible to noise and outlier data poin...
machine learning KNN
qq_37312720的博客
11-27 218
本博客是机器学习实战的读书笔记...... 数据挖掘十大算法:C4.5决策树 k-means 支持向量机SVM Apriori 最大期望法EM PageRank算法 AdaBoot算法 K-邻近算法(KNN) 朴素贝叶斯算法NB 分类回归树(CART算法)   k-邻近算法 首先,其最终是选择频率最高的类别作为当前点的预测分类,属于监督式学习.... 计算数据集中的点与当前点的距离 ...
Machine Learning————KNN
weixin_45569078的博客
11-15 194
机器学习资源 以上是可下载源代码的地方，里面有着机器学习的源代码和数据，从中可以找到KNN的相关资料。但需要做一些改动。因为原来的代码是基于python2.x，但我们现在用的都是python3.x，有些代码不适用了 。比如dict.iteritems应该改为dict.items，还有print函数用法也有着小小改动，所以要在python3.x上调试会有语法错误，所以要修改一下。 在进行机器学习之前...
Machine Learning Project1, KNN
Sengo的博客
09-15 683
Header Name: Shusen Wu OS: Win10  Cpu: I7-7700 Language: Python3.6 Environment: Jupyter Notebook library:  numpy matplotlib.pyplot collections time operator Reference Machine Learning in A...
MachineLearning-master
10-19
在这个名为"MachineLearning-master"的压缩包中，包含了几个经典的机器学习算法实现，包括感知机、K近邻（KNN）、决策树以及逻辑回归。这些算法是机器学习初学者和从业者的基础工具，对于理解和应用机器学习有着极其...
MachineLearning-master.zip_K._k-NearestNeighbor_knn分类_人工智能
07-14
机器学习算法，包括knn等，K最近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。
腐蚀matlab代码-Machine-Learning-kNN-and-SVM:k最近邻（KNN）和支持向量机（SVM）
05-22
腐蚀matlab代码knn和SVM K近邻（knn）+支持向量机（SVM） 这里介绍的机器学习代码是用MATLAB编写的。 目的是通过输入使用温纳四电极技术获得的土壤的电阻率来预测土壤的类型。 该代码是论文的一部分，旨在开发一种...
matlab10折交叉验证knn代码-Machine-Learning-Research-Transportation:机器学习研究运输
05-27
matlab 10折交叉验证知识代码简介：预测和可视化的结果位于“结果”文件夹下。 ... ... 原始数据集（位于文件夹“ 1-data-preprocessing”中）： linkinfo-copy.csv：包含传感器信息的excel文件 traffic-csv文件夹：该...
【machine learning】KNN算法
enjoyhot的专栏
02-25 1614
kNN算法的指导思想是“近朱者赤，近墨者黑”，由你的邻居来推断出你的类别。
Machine Learning：k近邻算法（KNN）
weixin_50760153的博客
05-30 690
写在前面的话 大概是上半年准备美赛的时候，才发现仅仅具备C语言的知识，如果想对数据进行分析和挖掘，实在太过简陋，并且当时对相关算法了解甚少。这个学期有幸选了黄教授的数据科学概论一课，他曾经在课上向我们推荐了《机器学习实战》一书。这段时间抽空读了一下，感觉受益颇深，正巧赶完了期末大作业，便把学到的算法以专栏的形式整理出来。一方面便于自己复习巩固，另一方面书中的Python代码并非最新版本，许多参数已经删改，博主也趁此机会完善一下代码，并且给予充足的注释，以飨读者。 k-近邻算法概述 k-近邻算法本质上是一种分
Machine Learning机器学习之K近邻算法（K-Nearest Neighbors，KNN）
最新发布
a910247的博客
03-27 788
K近邻算法最早由美国的科学家Thomas Cover 和 Peter Hart 在 1967 年提出，并且在之后的几十年中得到了广泛的研究和应用。KNN 算法是一种基于实例的学习方法，它不像其他算法一样需要对数据进行假设或者参数拟合，而是直接利用已知的数据样本进行预测。KNN 算法是一种简单有效的分类和回归算法，算法的核心思想是“近朱者赤，近墨者黑”，即认为与新样本距离较近的训练样本更可能具有相同的类别或者输出。它的基本假设是“相似的样本在特征空间中具有相似的类别”。
K近邻算法
weixin_43826596的博客
04-13 662
KNN K近邻算法 （1）算法思路 计算待测样本与实际每一个样本之间的欧式距离（一般都是转换为向量，二位图像也是转化为一维向量） 选取距离最小的k个样本 统计K个样本的所属类别，出现频率最高的类别即为待测样本的类别 算法正确率影响参数， 测试集和样本数据的比重，以及K的选取 def classify0(inX,dataSet,labels,k): dataSetSize= dataSet....
欧氏距离与机器学习算法的紧密关系
程序员光剑
12-31 731
1.背景介绍 欧氏距离(Euclidean Distance)是一种常用的距离度量方法，在机器学习和人工智能领域具有广泛的应用。它用于衡量两个点之间的距离，通常用于计算向量之间的距离。欧氏距离的计算公式如下： $$ d(x, y) = \sqrt{(x1 - y1)^2 + (x2 - y2)^2 + \cdots + (xn - yn)^2} $$ 在这里，$x$ 和 $y$ 是两个向量，...
机器学习中的相似性度量
hit_kongquan的专栏
03-25 8323
<br /><br />在做分类时常常需要估算不同样本之间的相似性度量(Similarity Measurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。<br />　　本文的目的就是对常用的相似性度量作一个总结。<br /><br /><br />本文目录：<br />1. 欧氏距离<br />2. 曼哈顿距离<br />3. 切比雪夫距离<br />4. 闵可夫斯基距离<br />5. 标准化欧氏距离<br />6
机器学习中的急切学习方法和惰性学习方法
yuzhihuan1224的博客
09-24 4284
急切学习方法也叫积极学习方法,惰性学习方法也叫消极学习方法 积极学习方法,这种学习方法是指在利用算法进行判断之前,先利用训练集数据通过训练得到一个目标函数,在需要进行判断时利用已经训练好的函数进行决策,这种方法是在开始的时候需要进行一些工作,到后期进行使用的时候会很方便. 例如 以很好理解的决策树为例,通过决策树进行判断之前,先通过对训练集的训练建立起了一棵树,比如很经典的利用决策树判断一各新发现...
数据挖掘总结之消极学习与积极学习
军军的专栏
02-04 6296
消极学习与积极学习1. 积极学习(Eager Learning)这种学习方式是指在进行某种判断（例如，确定一个点的分类或者回归中确定某个点对应的函数值）之前，先利用训练数据进行训练得到一个目标函数，待需要时就只利用训练好的函数进行决策，显然这是一种一劳永逸的方法，SVM就属于这种学习方式。2. 消极学习(Lazy Learning)这种学习方式指不是根据样本建立一般化的目标函数并确定其参数，而是简单
KNN的优化算法1：距离加权
热门推荐
山中有石为玉
08-10 2万+
参考文章：https://www.cnblogs.com/bigmonkey/p/7387943.html 对参考文章中最后一部分说的有问题的地方进行了修改。   权值加权：为每个点的距离增加一个权重，使得距离近的点可以得到更大的权重，在此描述如何加权。 反函数 　　该方法最简单的形式是返回距离的倒数，比如距离d，权重1/d。有时候，完全一样或非常接近的商品权重会很大甚至无穷大。基于...
ieee-cis fraud detection knn
05-10
IEEE-CIS Fraud Detection is a Kaggle competition that challenges participants to detect fraudulent transactions using machine learning techniques. KNN (k-Nearest Neighbors) is one of the machine learning algorithms that can be used to solve this problem. KNN is a non-parametric algorithm that classifies new data points based on the majority class of their k-nearest neighbors in the training data. In the context of fraud detection, KNN can be used to classify transactions as either fraudulent or not based on the similarity of their features to those in the training data. To implement KNN for fraud detection, one can follow the following steps: 1. Preprocess the data: This involves cleaning and transforming the data into a format that the algorithm can work with. 2. Split the data: Split the data into training and testing sets. The training data is used to train the KNN model, and the testing data is used to evaluate its performance. 3. Choose the value of k: This is the number of neighbors to consider when classifying a new data point. The optimal value of k can be determined using cross-validation. 4. Train the model: Train the KNN model on the training data. 5. Test the model: Test the performance of the model on the testing data. 6. Tune the model: Fine-tune the model by changing the hyperparameters such as the distance metric used or the weighting function. Overall, KNN can be a useful algorithm for fraud detection, but its performance depends heavily on the quality of the data and the choice of hyperparameters.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值