机器学习——K-近邻算法

1.k近邻算法的概述

工作机制：给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个“邻居”的信息来进行预测。通常，在分类任务中可使用“投票法”，即选择这k个样本中出现最多的类别标记作为预测结果；在回归任务中可使用“平均法”，即将这k个样本的实值输出标记的平均值作为预测结果；还可基于距离远近进行加权平均或加权投票，距离越近的样本权重越大。

 1.1k近邻算法的优缺点

优点：精度高、对异常值不敏感、无数据输入假定

缺点：计算复杂度高、空间复杂度高

使用数据范围：数值型和标称型

1.2k-近邻算法一般流程

1.计算已知类别数据集中的点与当前点之间的距离；

2.按照距离递增次序排序；

3.选取与当前点距离最小的k个点；

4.确定前k个点所在类别的出现频率；

5.返回前k个点出现频率最高的类别作为当前点的预测分类

1.3距离计算

参考博客[机器学习-概念] 什么是欧式距离、标准化欧式距离、马氏距离、余弦距离_茫茫人海一粒沙的博客-CSDN博客_标准化欧氏距离

已知数据和测试数据的距离有多种度量方式，比如曼哈顿距离࿰