机器学习实战笔记 第二章（1）

KNN 工作原理
有一个训练样本及，样本集中，每个数据都存在标签
我们知道样本集中每个数据与其所属分类的对应关系

输入（没有标签的）新数据后，将新数据的每个特征与样本集中（每个）属于对应的特征进行比较
然后KNN算法提取样本集中特征和该新数据“最近的”那个数据的分类标签

一般来说，选取的是样本集中前k个和新数据最近的数据，然后看这k个数据中心
出现最多的分类是哪个分类标签，然后就选取这个标签，烙在新数据上

伪代码
def KNN_Algo(new_data_point_set):
    对于在new_data_point_set中的任意一个点i, 都有
        1. 计算点i 同训练集中每个数据点的距离（如何存储？）
        2. 按照距离的增序排序
        3. 选取距离最短的前k个点
        4. 确定前k个点中各个类别出现的频数
        5. return出现频数最高的类别，给点i 打上标签

code

import numpy as np
import operator

def Create_Dataset():
    data_in_list = [[40920, 8.326976,	0.953952],
                    [14488, 7.153469,	1.673904],
                    [26052,	1.441871,	0.805124],
                    [75136,	13.147394,	0.428964],
                    [38344,	1.669788,	0.134296],
                    [72993,	10.141740,	1.032955],
                    [35948,	6.830792,	1.213192],
                    [42666,	13.276369,	0.543880],
                    ];
    group = np.array(data_in_list);

    labels = ['largeDoses',
              'smallDoses',
              'didntLike',
              'didntLike',
              'didntLike',
              'didntLike',
              'largeDoses',
              'largeDoses',
              ];

    return group, labels;


group, labels = Create_Dataset();

def Classifier0(input_X, dataset, labels, k):

    dataset_size = dataset.shape[0];
    # 复制dateset_size个输入向量，因此可以分别并行计算和输入点和每个点之间的距离

    # 欧式距离，先算差
    # this is why we use the (dataset_size, 1)
    diff_mat = np.tile(input_X, (dataset_size, 1)) - dataset;
    # 再算平方并求和
    sq_diff_mat = diff_mat ** 2;
    sq_dist_array = sq_diff_mat.sum(axis = 1);
    distances = sq_dist_array ** 0.5;
    # calculate the index of sorted distance array
    sorted_distance_indicies = distances.argsort();

    class_counter = {};
    for i in range(k):
        picked_label = labels[sorted_distance_indicies[i]];
        class_counter[picked_label] = class_counter.get(picked_label, 0) + 1;

    sorted_class_counter = sorted(
        class_counter.items(),
        key = operator.itemgetter(1),
        reverse = True
    );

    return sorted_class_counter[0][0];


result = Classifier0([28782,6.593803,0.187108], group, labels, 3);
print(result);