KNN 工作原理
有一个训练样本及,样本集中,每个数据都存在标签
我们知道样本集中每个数据与其所属分类的对应关系
输入(没有标签的)新数据后,将新数据的每个特征与样本集中(每个)属于对应的特征进行比较
然后KNN算法提取样本集中特征和该新数据“最近的”那个数据的分类标签
一般来说,选取的是样本集中前k个和新数据最近的数据,然后看这k个数据中心
出现最多的分类是哪个分类标签,然后就选取这个标签,烙在新数据上
伪代码
def KNN_Algo(new_data_point_set):
对于在new_data_point_set中的任意一个点i, 都有
1. 计算点i 同训练集中每个数据点的距离(如何存储?)
2. 按照距离的增序排序
3. 选取距离最短的前k个点
4. 确定前k个点中各个类别出现的频数
5. return出现频数最高的类别,给点i 打上标签
code
import numpy as np
import operator
def Create_Dataset():
data_in_list = [[40920, 8.326976, 0.953952],
[14488, 7.153469, 1.673904],
[26052, 1.441871, 0.805124],
[75136, 13.147394, 0.428964],
[38344, 1.669788, 0.134296],
[72993, 10.141740, 1.032955],
[35948, 6.830792, 1.213192],
[42666, 13.276369, 0.543880],
];
group = np.array(data_in_list);
labels = ['largeDoses',
'smallDoses',
'didntLike',
'didntLike',
'didntLike',
'didntLike',
'largeDoses',
'largeDoses',
];
return group, labels;
group, labels = Create_Dataset();
def Classifier0(input_X, dataset, labels, k):
dataset_size = dataset.shape[0];
# 复制dateset_size个输入向量,因此可以分别并行计算和输入点和每个点之间的距离
# 欧式距离,先算差
# this is why we use the (dataset_size, 1)
diff_mat = np.tile(input_X, (dataset_size, 1)) - dataset;
# 再算平方并求和
sq_diff_mat = diff_mat ** 2;
sq_dist_array = sq_diff_mat.sum(axis = 1);
distances = sq_dist_array ** 0.5;
# calculate the index of sorted distance array
sorted_distance_indicies = distances.argsort();
class_counter = {};
for i in range(k):
picked_label = labels[sorted_distance_indicies[i]];
class_counter[picked_label] = class_counter.get(picked_label, 0) + 1;
sorted_class_counter = sorted(
class_counter.items(),
key = operator.itemgetter(1),
reverse = True
);
return sorted_class_counter[0][0];
result = Classifier0([28782,6.593803,0.187108], group, labels, 3);
print(result);