《机器学习实战》k最近邻算法(K-Nearest Neighbor,Python实现)

标签: 机器学习kNN算法k近邻算法
5012人阅读 评论(1) 收藏 举报
分类:
============================================================================================
《机器学习实战》系列博客是博主阅读《机器学习实战》这本书的笔记,包含对其中算法的理解和算法的Python代码实现

另外博主这里有机器学习实战这本书的所有算法源代码和算法所用到的源文件,有需要的留言
============================================================================================


一、什么是看KNN算法?
二、KNN算法的一般流程
三、KNN算法的Python代码实现


numpy 模 块 参 考教程:http://old.sebug.net/paper/books/scipydoc/index.html
决策树(ID3)算法请参考:http://blog.csdn.net/gamer_gyt/article/details/47679017

一:什么是看KNN算法?
        kNN算法全称是k-最近邻算法(K-Nearest Neighbor)
        kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别,则该样本也属于这个类别,并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。

下边举例说明:

即使不知道未知电影属于哪种类型,我们也可以通过某种方法计算出来,如下图

现在我们得到了样本集中与未知电影的距离,按照距离的递增顺序,可以找到k个距离最近的电影,假定k=3,则三个最靠近的电影是和he is not realy into Dudes,Beautiful women, California man kNN算法按照距离最近的三部电影类型决定未知电影类型,这三部都是爱情片,所以未知电影的类型也为爱情片
二:KNN算法的一般流程

step.1---初始化距离为最大值

step.2---计算未知样本和每个训练样本的距离dist

step.3---得到目前K个最临近样本中的最大距离maxdist

step.4---如果dist小于maxdist,则将该训练样本作为K-最近邻样本

step.5---重复步骤2、3、4,直到未知样本和所有训练样本的距离都算完

step.6---统计K-最近邻样本中每个类标号出现的次数

step.7---选择出现频率最大的类标号作为未知样本的类标号


三、KNN算法的Python代码实现

调用方式:打开CMD,进入kNN.py文件所在的目录,输入Python,依次输入import kNN     group,labels = kNN.createDataSet()    kNN.classify0([0,0],group,lables,3)


0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    Thinkgamer微博
    个人微信,一起交流!

     扫一扫,关注我




    个人资料
    • 访问:694964次
    • 积分:8921
    • 等级:
    • 排名:第2108名
    • 原创:211篇
    • 转载:22篇
    • 译文:2篇
    • 评论:259条
    个人简介
    姓名:Thinkgamer

    Github:https://github.com/thinkgamer

    主攻:云计算/python/数据分析

    程度:熟悉/熟悉/熟悉

    微信:gyt13342445911

    Email:thinkgamer@163.com

    工作状态:在职ing

    心灵鸡汤:只要努力,你就是下一个大牛...

    hadoop/spark/机器学习群:279807394(大神建的群,蹭个管理员)

    欢迎骚扰........
    博客专栏
    最新评论