k-近邻算法(简称kNN)是易于理解和实现的算法,也是非常容易掌握的一种机器学习算法。
本文是学习Machine Learning in Action一书的成果,在此向著作此书的Peter Harrington 致敬。
01 什么是kNN
简单说,kNN算法采用计算不同特征值之间的距离进行分类的算法。kNN算法的模型就是整个训练数据集。当需要对一个未知数据实例进行预测时,kNN算法会在训练数据集中搜寻k个最相似实例。对k个最相似实例的属性进行归纳,将其作为对未知实例的预测。
优点:精度高,对异常值不敏感,无数据输入假定。
缺点:计算复杂度高,空间复杂度高。
02k NN工作原理
存在一个样本数据集合,也称作训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一数据与所属分类的对应关系。输人没有标签的新数据后,将新数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取样本集中特征最相似数据(最近邻)的分类标签。一般来说,我们只选择样本数据集中前k个最相似的数据,这就是k-近邻算法中k的出处 , 通常k是不大于 20的整数。最后,选择k个最相似数据中出现次数最多的分类,作为新数据的分类。
03 k-近邻算法的一般流程
(1) 收集数据:可以使用任何方法。
(2) 准备数据:距离计算所需要的数值,最好是结构化的数据格式。
(3) 分析数据:可以使用任何方法。
(4) 测试算法:计算错误率。
(5) 使用算法