机器学习实战--k近邻算法

    最近在看《Machine Learning in Action》这本书，自己之前也没有接触过机器学习的相关内容，算是入门吧。书的内容实战性很强，书的作者是用Python进行算法实现的，正好自己也能通过这本书来学习numpy和matplotlib的使用。对于熟悉使用Python进行科学计算来说，真是一举两得。

———————————————————————————————————————————

一、kNN算法原理

    k近邻算法是最简单的机器学习算法之一，它的实现原理也非常的简单。存在一个训练样本集，其中每一个样本对应一种分类，即已知训练各样本所属分类。此时输入一个实例，在训练样本集中寻找最近邻的K个实例（这里我们是通过特征向量之间的欧式距离来计算的），这k个实例中的多数类别作为输入实例的类别。

    下面从度娘引用一张图来更直观地说明(绿色圆形为输入实例):

    

    k=3时，最近邻的3个实例是2红三角和1蓝方，此时根据绿圆属于3个中的大多数，也就是红三角；

    k=5时，最近邻的5个实例是2红三角和3蓝方，此时根据绿圆属于5个中的大多数，也就是蓝方；

———————————————————————————————————————————

二、kNN算法实现

    以约会网站的对象推荐为例。kNN适合数值型和布尔型。我们通过量化特征，来获得相应的训练样本（当然书中已经给我们准备好了量化之后的训练样本）,之后就是编写一个小程序：输入量化特征，便能自动输出是“讨厌”，“喜欢”，“疯狂”的结果判定。

# coding: UTF-8
import numpy as np
import matplotlib.pyplot as plt
import operator


def file2mat():
    with open('datingTestSet2.txt') as f:
        lines = f.readlines()
    array_num = len(lines)
    # 创建训练矩阵(包含3个特征)及类别列表
    trained_mat = np.zeros((array_num, 3))
    class_list = []
    for index, line in enumerate(lines):
        # 去换行，以制表符为分界
        line = line.strip().split('\t')
        # 整行添加、将最后一个添加到类别列表
        trained_mat[index, :] = line[:3]
        class_list.append(int(line.pop()))
    return trained_mat, class_list


def mat2norm(trained_mat):
    # 各列的最大最小值，及范围
    max_values = trained_mat.max(axis=0)
    min_values = trained_mat.min(axis=0)
    ranges = max_values - min_values
    # 分子，分母
    diff_min_mat = trained_mat - np.tile(min_values, (trained_mat.shape[0], 1))
    range_mat = np.tile(ranges, (trained_mat.shape[0], 1))
    # 归一化矩阵
    norm_mat = diff_min_mat / range_mat
    return norm_mat, ranges, min_values


def classify(input_vector, trained_mat, class_list, k=3):
    # 欧式距离计算
    rows = trained_mat.shape[0]
    input_mat = np.tile(input_vector, (rows, 1))
    diff_mat = input_mat - trained_mat
    squ_mat = diff_mat ** 2
    sum_mat = squ_mat.sum(axis=1)
    d = sum_mat ** 0.5
    # 根据距离排序，获得排序后的索引
    sorted_d = d.argsort()
    # 创建用来统计某一类标签的字典
    class_count = {}
    for i in xrange(k):
        class_label = class_list[sorted_d[i]]
        class_count[class_label] = class_count.get(class_label, 0) + 1
    # 根据统计得到的类别数量，进行排序，返回一个包含元组的列表,[(),(),...()]
    sorted_class = sorted(class_count.iteritems(), key=operator.itemgetter(1), reverse=True)
    return sorted_class[0][0]


def error_rate_test():
    trained_mat, class_list = file2mat()
    norm_mat, ranges, min_values = mat2norm(trained_mat)
    rows = norm_mat.shape[0]
    # 用前10%的数据作为测试样本
    test_num = int(0.1 * rows)
    error_count = 0.0
    for i in xrange(test_num):
        # 后90%的数据作为训练样本
        classify_result = classify(norm_mat[i], norm_mat[test_num:], class_list[test_num:], 3)
        print "The classify result:%d\tThe real value:%d\n" % (classify_result, class_list[i])
        if classify_result != class_list[i]:
            error_count += 1.0
    print "The error rate:%.2f" % (error_count / float(test_num))


def classify_person(trained_mat, class_list):
    result_list = ['ignore', 'like', 'crazy']
    # 键盘输入3个分量
    file_miles = float(raw_input("Frequent flier miles earned per year:"))
    video_games = float(raw_input("Percentage of time spent on video games:"))
    ice_cream = float(raw_input("Liters of ice consumed per week:"))
    input_vector = np.array([file_miles, video_games, ice_cream])
    # 归一化
    norm_mat, ranges, min_values = mat2norm(trained_mat)
    # 数量向量也需要归一化，通过（x-min）/(max-min)
    classify_result = classify((input_vector - min_values) / ranges, norm_mat, class_list, 3)
    print "Your attitude to the person maybe:", result_list[classify_result - 1]


def show(trained_mat, class_list):
    fig = plt.figure()
    ax = fig.add_subplot(111)
    ax.scatter(trained_mat[:, 0], trained_mat[:, 1],
               s=15 * np.array(class_list), c=np.array(class_list), alpha=0.5, edgecolors='face')
    plt.xlabel('Fly miles per year(mile)')
    plt.ylabel('Time spent on video games per week(%)')
    plt.show()


def main():
    # 从文本中获得数据
    trained_mat, class_list = file2mat()
    # 散点图显示原始数据
    show(trained_mat, class_list)
    # 预测
    classify_person(trained_mat, class_list)

if __name__ == '__main__':
    main()

———————————————————————————————————————————

三、结果分析

1.输入数据散点图

2.实际输出预测情况

3.用前10%样本作为测试样本，后90%作为训练样本，得到的误差率为5%左右。