机器学习-KNN算法学习(一)
目标:掌握KNN算法的基本概念、优缺点以及代码实现。
文章目录
一、KNN算法简介
1、KNN(k-Nearest Neighbours)概念
kNN:对于一个需要测量的输入向量X,我们只需要在训练数据中寻找K个与向量X最近的向量集合,然后把X的类别预测为K个样本中类别数最多的那一类。 如下图:我们给出四个点,左下方两个点为一类,右上方两个点为一类。 KNN算法:对于输入点X,我们分别计算X坐标和四个点之间的距离,当K取3时,我们找出坐标X与那三个点距离更近,X则预测为与这三个点中类别数量最多的那一类。2、KNN算法优缺点
优点:精度高,对异常值不敏感,无数据输入假定 缺点:计算复杂度高,空间复杂度高 适用数据类型:数值型和标称型3、KNN算法一般流程
(1)收集数据:任何方式 (2)准备数据:距离计算所需要的数值 (3)分析数据:任何方法 (4)训练数据:不适用 (5)测试算法:计算错误率 (6)使用算法:首先输入样本数据和结构化的输出结果,然后运行KNN算法,判断输入数据分别属于哪个分类,最后应用对计算出的分类执行后续的处理。二、python算法实现
1.收集数据、准备数据
构造数组(示例):
from numpy import * # 导入科学计算包numpy
import matplotlib.pyplot as plt
def createDataSet():
# array 构造数组
group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
# 返回数组的维数(行数)
# print(group.shape[0])
# 返回数组的列数
# print(group.shape[1])
labels = ['A', 'A', 'B', 'B']
return group, labels
2.分析数据
代码如下(示例):
from numpy import * # 导入科学计算包numpy
import operator # 导入运算符模块
# inX:输入的测试数据
# dataSet:训练集
# labels:训练集对应的标签
# K:KNN算法对应的K值
def classify0(inX, dataSet, labels, k):
# 统计测试集的有几个数据
dataSetSize = dataSet.shape[0]
# tile函数将数据重复几次,返回值为数组形式
# 将inX变成和dataSet维数一致的数组,两个数组相减,方便后续求距离
# print("tile usage:")
# print(tile(inX, (dataSetSize, 1)))
diffMat = tile(inX, (dataSetSize, 1)) - dataSet
# 数组中每个数据平方
sqDiffMat = diffMat ** 2
# print(sqDiffMat)
# 对于数组相加axis = 0 -》 列相加
# 对于数组相加axis = 1 -》 行相加
sqDistances = sqDiffMat.sum(axis=1)
# 求距离,开平方运算
distances = sqDistances ** 0.5
# print(distances)
# distances.argsort将数组升序排列,不改变数组顺序,并返回索引
# distances.argsort()[::-1] 将数组降序排列,但不改变数组,且返回对应的索引
# 升序排列,距离最近的索引在前
sortedDistIndicies = distances.argsort()
# 创建字典
classCount = {}
for i in range(k):
# 依次获取最近的测试集的标签
voteIlabel = labels[sortedDistIndicies[i]]
# get:不会报错,获取字典的值,没有值会设置默认值0
classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
# print(classCount)
# 排序
sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
return sortedClassCount[0][0]
3.使用算法
# 简单的KNN算法测试
group, labels = createDataSet()
print(group)
print(labels)
result = classify0([0, 1], group, labels, 3)
print("classification result: " + result)
程序执行结果:将[0,1]分类为B类型
三、总结
KNN算法是分类数据最简单最有效的算法。KNN算法必须保存全部的数据集,此外由于必须对数据集中的每个数据计算距离,实际使用可能会非常耗时。