机器学习之K近邻算法(KNN)

原创 2018年04月17日 11:03:50

K近邻算法(KNN)

最简单易懂的机器学习算法,没有之

一、定义

    存在一个样本数据集合,也称作为训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后,将新的数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取与样本最相似数据(最近邻)的分类标签。一般来说,我们只选择样本数据集中k个最相似的数据,这就是k-近邻算法中k的出处,通常k是不大于20的整数。最后,选择k个最相似数据中出现次数最多的分类,作为新数据的分类。

二、核心思想

        一个新数据与训练样本集中的前k个样本最相似,如果这k个样本中的大多数属于某一个类别,那么新数据也属于这个类别。

三、基础公式


四、一般流程

1. 收集数据:可以使用爬虫进行数据的收集,也可以使用第三方提供的免费或收费的数据。一般,数据放在txt文本文件中,按一定的格式进行存储,便于解析及处理。

2. 准备数据(数据归一化)使用Python解析、预处理数据。

在处理不同取值范围的特征值时,常采用的方法是将数值归一化,如将取值范围处理为01或者-11之间。下面的公式可以将任意取值范围的特征值转化为0到1区间内的值:

newValue = (oldValue - min) / (max - min)

3. 分析数据(数据可视化)可以使用很多方法对数据进行分析,例如使用Matplotlib将数据可视化。

4. 测试算法(验证分类器)计算错误率。

5. 使用算法(构建完整可用系统)错误率在可接受范围内,就可以运行k-近邻算法进行分类。





版权声明: https://blog.csdn.net/hhq2lcl/article/details/79969313

机器学习实战笔记(Python实现)-02-k近邻算法(kNN)

机器学习实战笔记(Python实现)-02-k近邻算法(kNN) -- 下面来看一下书上对这个算法的原理介绍:存在一个训练样本集,并且每个样本都存在标签(有监督学习)。输入没有标签的新样本数据后,将新...
  • niuwei22007
  • niuwei22007
  • 2015-11-07 17:27:58
  • 7978

机器学习实战K-近邻算法遇到的几个错误

1.路径问题 解决方法:直接在代码的上一级目录打开命令行,输入python进入编译环境 2.使用reload(kNN) 出现Traceback (most recent call last): ...
  • mdzzzzzz
  • mdzzzzzz
  • 2017-08-24 20:36:46
  • 199

几个常用机器学习算法 - k近邻算法(kNN)

几个常用机器学习算法 - k近邻算法(kNN)1K近邻算法(k Nearest Neighbors, kNN)是一种基于实例的学习,通过计算新数据与训练数据特征值之间的距离,然后选取K个距离最近的邻居...
  • xg123321123
  • xg123321123
  • 2016-10-19 19:53:35
  • 810

机器学习笔记九:K近邻算法(KNN)

KNN原理和实战
  • xierhacker
  • xierhacker
  • 2017-03-18 15:52:18
  • 2036

机器学习实战k近邻算法(kNN)应用之手写数字识别代码解读

一.背景简要说明 书中假设待识别的数字已经使用图形处理软件将其处理为32*32的黑白图像,并将图片转换为文本格式。如下图代表数字0: 每个数字的训练样本大概有200个,每个数字的测...
  • SCUT_Arucee
  • SCUT_Arucee
  • 2015-12-11 11:33:24
  • 4297

【机器学习】k-近邻算法(kNN) 学习笔记

【机器学习】k-近邻算法(kNN) 学习笔记标签(空格分隔): 机器学习kNN简介kNN算法是做分类问题的。思想如下:KNN算法的思想总结一下:就是在训练集中数据和标签已知的情况下,输入测试数据,将测...
  • fuxuemingzhu
  • fuxuemingzhu
  • 2017-04-03 19:31:46
  • 1618

《机器学习实战》读书笔记2:K-近邻(kNN)算法 & 源码分析

声明:文章是读书笔记,所以必然有大部分内容出自《机器学习实战》。外加个人的理解,另外修改了部分代码,并添加了注释1、什么是K-近邻算法?简单地说,k-近邻算法采用测量不同特征值之间距离的方法进行分类。...
  • Artprog
  • Artprog
  • 2017-02-03 00:43:27
  • 1691

机器学习十大算法

  • 2017年10月31日 16:48
  • 4.66MB
  • 下载

机器学习之K-近邻算法(kNN算法)

k-近邻算法是根据不同特征值之间的距离来进行分类的一种简单的机器学习方法。本文简单介绍下kNN算法,并用其实现手写数字的识别。...
  • xiong452980729
  • xiong452980729
  • 2016-02-26 22:08:13
  • 2094

机器学习系列03——K近邻算法(KNN)

KNN算法是机器学习中常用的分类算法,该算法思想简单,非常容易入门,本文从KNN的基本思想开始文章书写,接着以一个简单的例子引入KNN算法,中间重点讲解了KNN的三要素(掌握了KNN的三要素基本上就能...
  • huangbin6
  • huangbin6
  • 2016-02-08 12:22:18
  • 1173
收藏助手
不良信息举报
您举报文章:机器学习之K近邻算法(KNN)
举报原因:
原因补充:

(最多只允许输入30个字)