机器学习实战——k-近邻算法（KNN）

• k-近邻算法(KNN)概述
  简单的说，k-近邻算法采用测量不同特征值之间的距离方法进行分类，它是一个分类算法。

  k-近邻算法
  优点：精度高、对异常值不敏感、无数据输入假定。
  缺点：计算复杂度高、空间复杂度高。
  适用数据范围：数值型和标称型。

• k-近邻算法原理
  存在一个样本训练集，并且样本集中每个数据都存在分类标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似（最近邻）的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数，最后选择k个最相似数据中出现次数最多的分类作为新数据的分类。

• 示例：电影题材分类

电影名称	打斗镜头	接吻镜头	电影类型
California man	3	104	爱情片
He’s Not Really into Dudes	2	100	爱情片
Beautiful woman	1	81	爱情片
Kevin Longblade	101	10	动作片
Robo Slayer 3000	99	5	动作片
Amped II	98	2	动作片
Titanic	18	90	？

# 电影分类器
    def classfy_movie(self):
        # 训练集-特征
        group = array([
            [3, 104],
            [2, 100],
            [1, 81],
            [101, 10],
            [99, 5],
            [98, 2]])
        # 训练集-结果
        labels = ['A', 'A', 'A', 'B', 'B', 'B']
        # 获取训练集一维数量，即训练集包含的数据条数
        data_set_size = group.shape[0]
        # 待分类电影特征向量
        new_movie = [18, 90]
        # 获取类似于[x-x1,y-y1]的矩阵
        diff_mat = tile(new_movie,(data_set_size,1)) - group
        # 求上述矩阵的平方
        sq_diff_mat = diff_mat ** 2
        # 求每个元素的和，类似于(x-x1)^2+(y-y1)^2
        sq_distance = sq_diff_mat.sum(axis=1)
        # 开根号，求出距离，利用了欧式距离公式
        distance = sq_distance ** 0.5
        # 所得数组是按数据从小到大排列的元素索引
        sorted_distances = distance.argsort()
        class_count = {}
        for i in range(3):
            # 按距离从小到大排列依次取出特征所对应的目标变量即电影分类
            vote_label = labels[sorted_distances[i]]
            # 对目标变量出现的次数进行统计
            class_count[vote_label] = class_count.get(vote_label,0) + 1
        # 对目标变量数组按从大到小进行排列
        sorted_class_count = sorted(class_count.iteritems(),
                               key=operator.itemgetter(1),reverse=True)
        # 输出出现次数最多的目标变量
        print sorted_class_count[0][0]