关闭

《机器学习实战》k最近邻算法(K-Nearest Neighbor,Python实现)

标签: 机器学习kNN算法k近邻算法
9852人阅读 评论(2) 收藏 举报
分类:
============================================================================================
《机器学习实战》系列博客是博主阅读《机器学习实战》这本书的笔记,包含对其中算法的理解和算法的Python代码实现

另外博主这里有机器学习实战这本书的所有算法源代码和算法所用到的源文件,有需要的留言
============================================================================================


一、什么是看KNN算法?
二、KNN算法的一般流程
三、KNN算法的Python代码实现


numpy 模 块 参 考教程:http://old.sebug.net/paper/books/scipydoc/index.html
决策树(ID3)算法请参考:http://blog.csdn.net/gamer_gyt/article/details/47679017

一:什么是看KNN算法?
        kNN算法全称是k-最近邻算法(K-Nearest Neighbor)
        kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别,则该样本也属于这个类别,并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。

下边举例说明:

即使不知道未知电影属于哪种类型,我们也可以通过某种方法计算出来,如下图

现在我们得到了样本集中与未知电影的距离,按照距离的递增顺序,可以找到k个距离最近的电影,假定k=3,则三个最靠近的电影是和he is not realy into Dudes,Beautiful women, California man kNN算法按照距离最近的三部电影类型决定未知电影类型,这三部都是爱情片,所以未知电影的类型也为爱情片
二:KNN算法的一般流程

step.1---初始化距离为最大值

step.2---计算未知样本和每个训练样本的距离dist

step.3---得到目前K个最临近样本中的最大距离maxdist

step.4---如果dist小于maxdist,则将该训练样本作为K-最近邻样本

step.5---重复步骤2、3、4,直到未知样本和所有训练样本的距离都算完

step.6---统计K-最近邻样本中每个类标号出现的次数

step.7---选择出现频率最大的类标号作为未知样本的类标号


三、KNN算法的Python代码实现
#encoding:utf-8
from numpy import *
import operator

def createDataSet():
    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels = ['A','A','B','B']
    return group,labels

def classify0(inX,dataSet,labels,k):
    #返回“数组”的行数,如果shape[1]返回的则是数组的列数
    dataSetSize = dataSet.shape[0]
    #两个“数组”相减,得到新的数组
    diffMat = tile(inX,(dataSetSize,1))- dataSet
    #求平方
    sqDiffMat = diffMat **2
    #求和,返回的是一维数组
    sqDistances = sqDiffMat.sum(axis=1)
    #开方,即测试点到其余各个点的距离
    distances = sqDistances **0.5
    #排序,返回值是原数组从小到大排序的下标值
    sortedDistIndicies = distances.argsort()
    #定义一个空的字典
    classCount = {}
    for i in range(k):
        #返回距离最近的k个点所对应的标签值
        voteIlabel = labels[sortedDistIndicies[i]]
        #存放到字典中
        classCount[voteIlabel] = classCount.get(voteIlabel,0)+1
    #排序 classCount.iteritems() 输出键值对 key代表排序的关键字 True代表降序
    sortedClassCount = sorted(classCount.iteritems(),key = operator.itemgetter(1),reverse = True)
    #返回距离最小的点对应的标签
   return sortedClassCount[0][0]

调用方式:打开CMD,进入kNN.py文件所在的目录,输入Python,依次输入import kNN     group,labels = kNN.createDataSet()    kNN.classify0([0,0],group,lables,3)


0
0
查看评论

统计学习方法——K近邻模型

0. 写在前面在这一讲的讨论班中,我们将要讨论一下K近邻模型。可能有人会说,K近邻模型有什么好写的,那分明就是一个最简单的机器学习模型,哦,不,连机器学习也算不上的算法吧。但是这里,我想提醒的是,我们要讨论的,不仅仅是简单的K近邻模型,而是和它相关的一些有困惑的话题。1. K近邻定义k近邻算法,也成...
  • qq_35082030
  • qq_35082030
  • 2017-03-09 22:28
  • 1252

K近邻估计

Kn-----近邻估计         KN近邻估计基本思想:预先确定n的某个函数Kn,然后再x点周围选择一个区域,调整区域体积大小,直至Kn个样本落入区域中。这些样本被称为点x的Kn个最近邻。         如果...
  • zengxiantao1994
  • zengxiantao1994
  • 2017-06-13 23:08
  • 1166

机器学习算法与Python实践之(一)k近邻(KNN)

机器学习算法与Python实践之(一)k近邻(KNN)zouxy09@qq.comhttp://blog.csdn.net/zouxy09        机器学习算法与Python实践这个系列主要是参考《机器学习实战》这本书。因为自己想学习Pytho...
  • zouxy09
  • zouxy09
  • 2013-11-26 00:38
  • 140892

KNN-K近邻分类法

分类算法的基础介绍,以及分析经典KNN算法,及其改进方向
  • u010945683
  • u010945683
  • 2015-03-30 09:49
  • 3021

简单易学的机器学习算法——K-近邻算法

K-NN算法
  • google19890102
  • google19890102
  • 2014-04-17 13:30
  • 9267

最近邻法和k-近邻法 KD树

最近邻法和k-近邻法   下面图片中只有三种豆,有三个豆是未知的种类,如何判定他们的种类?   提供一种思路,即:未知的豆离哪种豆最近就认为未知豆和该豆是同一种类。由此,我们引出最近邻算法的定义:为了判定未知样本的类别,以全部训练样本作为代表点,计算未知样本与所有训练样本的距离,...
  • u012422446
  • u012422446
  • 2017-02-22 15:33
  • 2344

K近邻算法原理及实现(Python)

简单介绍k近邻算法的原理及其python实现(包括kd树的构造和搜索)
  • dobests
  • dobests
  • 2015-09-19 21:54
  • 7829

K近邻分类

K近邻算法和其他模型最大的区别在于该模型没有参数训练过程,它不通过学习算法分析训练数据,而只是根据测试样本在训练数据的分布直接作出分类的决策。K近邻中的K值不属于模型通过训练数据学习的参数,而是在模型初始化过程中提前确定的,不同的K值会获得不同效果的分类器。 本篇博客不讲述K近邻模型的理论知识,而...
  • m0_37728157
  • m0_37728157
  • 2017-06-06 15:08
  • 228

数据挖掘十大算法--K近邻算法

k-近邻算法是基于实例的学习方法中最基本的,先介绍基于实例学习的相关概念。 一、基于实例的学习。 1、已知一系列的训练样例,很多学习方法为目标函数建立起明确的一般化描述;但与此不同,基于实例的学习方法只是简单地把训练样例存储起来。 从这些实例中泛化的工作被推迟到必须分类新的实例时。每当学习器遇到一个...
  • u011067360
  • u011067360
  • 2014-04-17 17:33
  • 11570

K近邻算法

K近邻算法 发表于 2012-11-12   下图中,绿色圆要被决定赋予哪个类,是红色三角形还是蓝色四方形?如果K=3,由于红色三角形所占比例为2/3,绿色圆将被赋予红色三角形那个类,如果K=5,由于蓝色四方形比例为3/5,因此绿色圆被赋予蓝色四方形类。   ...
  • pi9nc
  • pi9nc
  • 2013-06-09 22:10
  • 43276
    微信公众号【数据与算法联盟】

    扫码关注公众号,不定期推送实战文章!

    扫码加我微信,拉你进数据算法大佬群!
    个人资料
    • 访问:1058729次
    • 积分:11710
    • 等级:
    • 排名:第1543名
    • 原创:227篇
    • 转载:22篇
    • 译文:2篇
    • 评论:343条
    个人简介
    姓名:Thinkgamer

    Github:https://github.com/thinkgamer

    主攻:云计算/python/数据分析

    程度:熟悉/熟悉/熟悉

    微信:gyt13342445911

    Email:thinkgamer@163.com

    工作状态:在职ing

    心灵鸡汤:只要努力,你就是下一个大牛...

    hadoop/spark/机器学习群:279807394(大神建的群,蹭个管理员)

    欢迎骚扰........
    博客专栏
    最新评论