机器学习之K-近邻算法

机器学习之K-近邻算法

  用电影的例子进行引言，我们现在的电影网站上电影都是分类了的。比如按题材进行分类，什么动作片，恐怖片，爱情片扥等。然而这个题材是怎么定义的呢，怎么判断某部电影属于这个题材呢。以单纯的动作片和爱情片进行示例说明，我们经验知道动作片打头场景居多，而爱情片接吻戏居多。这样我们就可以粗略的根据一部电影中打斗次数，接吻次数出现的比率来判断某部电影是属于动作片还是爱情片。
  此节介绍的非常简单的机器学习算法：K-近邻算法。

k-近邻算法概述

简单的说，k-近邻算法是采用测量不同特征之间的距离方法进行分类。是著名的模式识别统计学方法。正如名字所示，算法的精确度主要和K值相关。
举个例子：

如上图，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形类。

一般流程

（1） 收集数据：（可以使用任何方法）
（2） 准备数据：计算所需要的数值之间的距离，最好是结构化的数据格式
（3）数据分析：可以使用任何方法
（4）训练算法：此步骤不适合k-近邻算法
（5）测试算法：计算错误率
（6）使用算法：首先需要输入样本数据和结构化的输出结果，然后运行k-近邻算法判定输入数据分别属于哪个分类。

导入数据

from numpy import*
import operator
from os import listdir
## 给出训练数据以及对应的类别
def createDataSet():
    group = array([[1.0,1.1],[1.0,1.0],[0,0],[0,0.1]])
    labels = ['A','A','B','B']
    return group,labels

K-NN算法

这里简单解释下，对未知类别属性的数据集中的每个点依次执行以下操作。

1. 计算已知类别数据集中的点与当前点之间的距离
2. 按照距离递增次序排序
3. 选取与当前点距离最小的k个点
4. 确定前K个点所在类别的出现频率
5. 返回前k个点出现频率最高的类别作为当前点的预测分类

## K-近邻算法
## inX为需要分类的目标向量；
## dataSet 为数据集
## labels 数据中对应的标签
## k 选择的最近邻的数目
def classify0(inX, dataSet, labels, k):
    dataSize = dataSet.shape[0]
    ### 计算欧式距离
    diffMat = tile(inX,(dataSize,1)) - dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis = 1) ##行向量分别相加，得到新行向量
    distances = sqDistances**0.5

    ##对距离排序 返回下标
    sortedDistIndicies = argsort(distances)

    classCount={}
    for i in range(k):
        voteILabel = labels[sortedDistIndicies[i]]
        # 对选取的K个的样本属性的类别进行统计
        classCount[voteILabel] = classCount.get(voteILabel,0) + 1
    ## 选取出现的类别次数最多的类别
    maxCount = 0
    for key,value in classCount.items():
        if value > maxCount:
            maxCount = value
            classes = key

    return classes