机器学习实战——笔记（K-近邻算法）

K-近邻算法

目录

• K-近邻分类算法原理
• 代码实现

一、K-近邻算法概述

场景一：从电影类型的分类出发，如何判断一部电影是爱情片还是动作片或者其他类型呢？
是否可根据电影中出现的kiss镜头和打斗镜头数来划分呢？
带着这两个问题来讲解“K-近邻算法”。

K-近邻算法采用测量不同特征值之间的距离方法进行分类。
优点： 精度高、对异常值不敏感、无数据输入假定
缺点： 计算复杂度高、空间复杂度高
适用数据范围： 数值型和标称型

K-近邻算法（KNN）工作原理：
1.存在一个样本数据集（训练样本集），且样本集中每个数据都存在标签，也就是对应的类别
2.输入没有标签的新数据，将新数据的每个特征与样本集中每一数据的特征进行比较
3.算法提取样本集中特征最相似数据（最近邻）的分类标签（一般只选择样本数据集中前k个最相似的数据，通常k不大于20的整数）
4.最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类

通俗点说： 有一堆样本数据，并知道每个样本的类别，现在有个测试数据进来，那就计算这个测试数据每个特征与现有样本集中各样本的各特征的距离，取最小的前20个，然后分析这20个样本的类别分布频数，频数最大的作为测试数据的类别。

二、开撸代码

伪代码：
对未知类别属性的数据集中的每个点依次执行以下操作：
1）计算已知类别数据集中的点与当前点之间的距离
2）按照距离递增次序排序
3）选取与当前点距离最小的k个点
4）确定前k个点所在类别出现频率
5）返回前k个点出现频率最高的类别作为当前点的预测分类

from numpy import * # 科学计算包NumPy
import operator # 运算符模块


#创建一个带'A'、'B'两类别标签的数据
def createDataSet():
    group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
    labels = ['A', 'A', 'B', 'B']
    return group, labels


'''
inX：用于分类的输入向量
dataSet：训练样本集
labels：标签向量
k：最近邻数
'''
def classify0(inX, dataSet, labels, k):
    # 距离计算
    dataSetSize = dataSet.shape[0]  # dataSet几行，这里为4行
    diffMat = tile(inX, (dataSetSize, 1)) - dataSet  # 在列方向上重复inX向量1次，行4次
    sqDiffMat = diffMat ** 2  # 取平方
    sqDistances = sqDiffMat.sum(axis=1)  # 每行求和
    sortedDistIndicies = distances.argsort()    # 排序
    # 选择距离最小的k个点
    classCount = {}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]  # 对应的label
        classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1  # 计算频数
    # 排序
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)  # 按频数进行降序排列
    return sortedClassCount[0][0]

group, labels = createDataSet()
print(group)
print(labels)
class0 = classify0([0, 0], group, labels, 3)
print(class0)

**PS：如果对变量不清楚的欢迎留言。