机器学习实战(k-近邻算法-入门篇)

 

k-近邻算法概述

k-近邻算法就是采用测量不同的特征值之间的距离进行分类

它的工作原理是:存在一个样本数据集合,也称作训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一数据与所分类类别的对应关系。输入没有标签的新数据后,将新数据的每个特征最相似数据(最邻近)的分类标签。一般来说,我们只选择样本数据集中的前k个最相似的数据,这就是k-近邻算法中的k的出处,通常k<=20(整数)。最后我们选择k个最相似数据中出现次数最多的分类,最为新数据的分类。

优缺点

优点:精度高、对异常不敏感、无数据就输入假定

缺点:计算复杂度高、空间复杂度高

适用数据范围:数值型和标称型

k-近邻算法的一般流程

(1)、收集数据:可以使用任何方法

(2)、准备数据:距离计算所需要的数据,最好是结构化的数据格式

(3)、分析数据:可以使用任何方法

(4)、测试算法:计算错误率

(5)、使用算法:首先输入样本数据和结构化的输出结果,然后运行k-近邻算法判定输入数据分别属于哪个类,最后应用对计算 出的分类执行后续的处理

电影分类的例子

使用k-近邻算法分类爱情片和动作片。有人曾经统计过很多电影的打斗镜头和接吻镜头。假如有一部看过的电影,如何确定它是爱情片还是动作片?我们可以使用KNN来 解决这个问题。

每部电影的打斗镜头、接吻镜头以及电影评估类型
电影名称打斗镜头接吻镜头电影类型
Colifornia Man3104爱情片
He’s Not Really into Dudes2100爱情片
Beautiful Woman181爱情片
Kevin Longblade10110动作片
Robo Slayer 3000995动作片
Amped II982动作片
1890未知

即使不知道未知电影的类型,我们也可以通过某种方法计算出来。首先计算出未知电影与样本集中其他电影的距离。

现在我们得到了样本中所有与未知电影的距离,按照递增排序,可以找到k个距离最近的电影。假定k=3,则三个最靠近的电影依次是 He’s Not Really into Dudes 、Beautiful Woman 、 Colifornia Man。k-近邻算法按照距离最近的三部电影的类型,决定未知电影的类型。而这三部电影全是爱情片,因此我们判定未知电影属于爱情片。

 

假设这里有五组数据,五个对应的标签以及一组未知标签的数据如下,我们要来预测未知标签的数据属于哪一类

已知数据:

    A   1.0,1.1
    A   1.0,1.0
    B   0.0,0.0
    B   0.0,0.1
    B   0.0,0.1

未知数据

    1.0,1.0

代码实现

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
'''
@Time    : 2018/8/13 16:15
@Author  :
@Site    : 
@File    : KNN.py
@Software: PyCharm
'''
from numpy import *
import operator

def createDataSet():
    """
    准备数据集
    A   1.0,1.1
    A   1.0,1.0
    B   0.0,0.0
    B   0.0,0.1
    B   0.0,0.1
    :return: group,labels
    """
    group = array([[1.0, 1.1], [1.0, 1.0], [0.0, 0.0], [0.0, 0.1], [0.0, 0.1]])
    labels = ['A', 'A', 'B', 'B', 'B']
    return group, labels


def classify(inX, dataSet, labels, k):
    """
     K-近邻算法
    :param inX:用于分类的输入向量
    :param dataSet: 输入的训练样本
    :param labels: 向量的标签
    :param k:用于选择最近邻居的数目
    :return:
    """
    dataSetSize = dataSet.shape[0]                  #获取训练样本的个数
    diffMat = tile(inX,(dataSetSize, 1)) - dataSet  #tile(A,n) 将A重复n次构成一个新的数组
    sqDiffMat = diffMat**2                          #将两向量之间的差值分别平方
    sqDistance = sqDiffMat.sum(axis=1)              #axis=1表述行,axis=0表述列
    distances = sqDistance**0.5                     #开方算出欧氏距离
    sortedDistancesIndex = distances.argsort()      #将距离从小到大排序并将其下表存入sortedDistanceIndex
    classCount = {}
    for i in range(k):
        voteLabel = labels[sortedDistancesIndex[i]]
        classCount[voteLabel] = classCount.get(voteLabel, 0) + 1   #统计各个标签出现的次数
    sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
    return sortedClassCount[0][0]

#----------------测试------------------
group, labels = createDataSet()
print(classify([1,1], group, labels, 3))
"""
结果输出:A
"""

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值