1. KNN概述
2. KNN原理
3. 常用的距离度量准则
4. KNN优缺点
1.概述:
简单的说,K-紧邻算法采用不同特征值之间距离的方法进行分类。是理论上比较成熟,也是机器学习中最简单的算法之一。
2.原理:
存在一个样本数据集合,也称之为训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一个数据与所属分类的对应关系。当输入没有标签(未知分类)的数据时,将数据的每个特征与样本集中数据对应的特征进行比较,然后提取样本集中最相似的K个数据点(这也是K紧邻中K的意思),选择这K个样本数据集中比例最高的分类作为新数据的分类。
假设存在上图的的数据集,其中矩形点和圆形点都是训练样本,其中矩形点为A类,圆形点为B类,中间的星型黄点为未知分类标签的点,此时K假设为4(寻找4个离星型黄点最近的点),经过某种距离算法处理,abcd是离星型黄点最近的4个点。由于此时abcd4个点中,A类占3个,B类只有1个,故星型黄点被分为A类。
3. 常用的距离度量准则
在上述原理中,提取样本集中最相似的K个点的算法,这里用常用的欧氏距离来衡量测试样本和训练样本的相似程度。
4. KNN优缺点
优点:精度高、对异常值不敏感、无数据输入假定。
缺点:计算复杂度高、空间复杂度高。