机器学习-KNN算法学习（一）

机器学习-KNN算法学习（一）

目标：掌握KNN算法的基本概念、优缺点以及代码实现。

---

---

一、KNN算法简介

1、KNN(k-Nearest Neighbours)概念

kNN：对于一个需要测量的输入向量X，我们只需要在训练数据中寻找K个与向量X最近的向量集合，然后把X的类别预测为K个样本中类别数最多的那一类。 如下图：我们给出四个点，左下方两个点为一类，右上方两个点为一类。 KNN算法：对于输入点X，我们分别计算X坐标和四个点之间的距离，当K取3时，我们找出坐标X与那三个点距离更近，X则预测为与这三个点中类别数量最多的那一类。

2、KNN算法优缺点

优点：精度高，对异常值不敏感，无数据输入假定 缺点：计算复杂度高，空间复杂度高 适用数据类型：数值型和标称型

3、KNN算法一般流程

（1）收集数据：任何方式 （2）准备数据：距离计算所需要的数值 （3）分析数据：任何方法 （4）训练数据：不适用 （5）测试算法：计算错误率 （6）使用算法：首先输入样本数据和结构化的输出结果，然后运行KNN算法，判断输入数据分别属于哪个分类，最后应用对计算出的分类执行后续的处理。

二、python算法实现

1.收集数据、准备数据

构造数组（示例）：

from numpy import *   # 导入科学计算包numpy
import matplotlib.pyplot as plt

def createDataSet():

    # array 构造数组
    group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])

    # 返回数组的维数(行数)
    # print(group.shape[0])
    # 返回数组的列数
    # print(group.shape[1])
    labels = ['A', 'A', 'B', 'B']
    return group, labels

2.分析数据

代码如下（示例）：

from numpy import *   # 导入科学计算包numpy
import operator  # 导入运算符模块


# inX:输入的测试数据
# dataSet:训练集
# labels:训练集对应的标签
# K:KNN算法对应的K值
def classify0(inX, dataSet, labels, k):

    # 统计测试集的有几个数据
    dataSetSize = dataSet.shape[0]

    # tile函数将数据重复几次,返回值为数组形式
    # 将inX变成和dataSet维数一致的数组,两个数组相减,方便后续求距离
    # print("tile usage:")
    # print(tile(inX, (dataSetSize, 1)))
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet

    # 数组中每个数据平方
    sqDiffMat = diffMat ** 2
    # print(sqDiffMat)

    # 对于数组相加axis = 0 -》 列相加
    # 对于数组相加axis = 1 -》 行相加
    sqDistances = sqDiffMat.sum(axis=1)

    # 求距离,开平方运算
    distances = sqDistances ** 0.5
    # print(distances)

    # distances.argsort将数组升序排列,不改变数组顺序,并返回索引
    # distances.argsort()[::-1]  将数组降序排列，但不改变数组，且返回对应的索引
    # 升序排列,距离最近的索引在前
    sortedDistIndicies = distances.argsort()

    # 创建字典
    classCount = {}
    for i in range(k):

        # 依次获取最近的测试集的标签
        voteIlabel = labels[sortedDistIndicies[i]]

        # get:不会报错,获取字典的值,没有值会设置默认值0
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
    # print(classCount)

    # 排序
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)

    return sortedClassCount[0][0]

3.使用算法

# 简单的KNN算法测试
group, labels = createDataSet()
print(group)
print(labels)
result = classify0([0, 1], group, labels, 3)
print("classification result: " + result)

程序执行结果：将[0,1]分类为B类型

---

三、总结

KNN算法是分类数据最简单最有效的算法。KNN算法必须保存全部的数据集，此外由于必须对数据集中的每个数据计算距离，实际使用可能会非常耗时。