【机器学习实战-kNN(k-近邻)】python3实现-书本知识【1】

说明： 本文内容为【Peter Harrington -机器学习实战】一书的学习总结笔记。

基本概念：

kNN是聚类算法中一种使用欧式定理计算各个特征之间的距离而进行分类的基础算法，欧式定理：

简述：求点(x1,y1)与点(x2,y2)之间的距离，其中，x、y假设为特征变量，则，两点距离公式：

如果有N个特征，则针对每个特征差取平方和开根号。

python实例：

如何分类？对未知分类输入集按以下步骤进行分类：

1. 计算未知分类数据与已知分类数据（训练集）中各个点(一条训练集数据)之间的距离；

2. 按照距离递增排序数据；

3. 选取当前距离最小的k（k可自定义）个点；

4. 确定前k个点中各个分类数据的概率；

5. 返回k个点中概率最高的第一个元素index=0的数据作为分类判定数据，进行返回。

以下示例判断某个点属于已知分类中的哪一类，在python 3.4中实现，先引入numpy及operator，代码如下：

# coding=utf-8
# kNN练习
from numpy import *
import operator


# 【1】初始化数据
def init_data():
    group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
    labels = ['A', 'A', 'B', 'B']
    return group, labels


# 【2】kNN实现
def classify0(input_set, data_set, labels, k):
    data_set_size = data_set.shape[0]
    # 计算距离tile 重复以input_set生成跟data_set一样行数的mat
    diff_mat = tile(input_set, (data_set_size, 1)) - data_set
    sq_diff_mat = diff_mat ** 2
    sq_distances = sq_diff_mat.sum(axis=1)
    distances = sq_distances ** 0.5
    # 按照距离递增排序
    sorted_dist_esc = distances.argsort()  # argsort返回从小到大排序的索引值
    class_count = {}  # 初始化一个空字典
    # 选取距离最小的k个点
    for i in range(k):
        vote_ilabel = labels[sorted_dist_esc[i]]
        # 确认前k个点所在类别的出现概率,统计几个类别出现次数
        class_count[vote_ilabel] = class_count.get(vote_ilabel, 0) + 1
    # 返回前k个点出现频率最高的类别作为预测分类
    sorted_class_count = sorted(class_count.items(), key=operator.itemgetter(1), reverse=True)
    return sorted_class_count[0][0]


if __name__ == "__main__":
    # 初始化数据
    dt, lables = init_data()
    rs = classify0([0, 0], dt, lables, 3)
    print("result:[%s]" % rs)

总结：

从以上python实现示例可以看出：

1. kNN的计算量很大，每次都需要遍历已知分类数据（训练集），并计算点与已知分类数据中各点的距离，将会很耗时；
2. 如果训练集很大，将会需要很大的内存空间；
3. 无法清晰的感知数据基本结构，无法获知如平均实例样本或典型实例样本的特征信息。

--------------------------------------------我是分割线 --------------------------------------------

高峰屹立，积跬步，行不止。