3. KNN最近邻算法详解与关键技术剖析(理论篇)

一、KNN算法概述

 

K最近邻(K-Nearest-Neighbour,KNN)算法可以说是最简单的分类算法,易于理解,其核心思想就是距离的比较,即离谁最近,就被归类于谁(群体投票的方式)。

通俗解释:“近朱者赤,近墨者黑”、“物以类聚,人以群分”

生活中,其实我们也不知不觉中使用到KNN算法的例子,比如我们看待一个人,可能从一个人周围的一些人也可以看出端倪,比如平时都和什么样的人交朋友,那你也很大可能性就是这类人。

如上图所示,有蓝色圆点和绿色圆点两类样本,假设有一个新样本(红色三角形) ,希望获得其所属的类别,那我们看这个红色三角形周围3个样本,看其类别进行投票,发现有两个蓝色的圆点,一个绿色的圆点,那么我们将红色三角形这个样本划分为蓝色圆点的类别。

从上面的介绍,我们对KNN已经有了非常直观的认识。下面我们一起来看看KNN算法的方方面面。

二、KNN算法的数学基础:

K近邻算法的核心数学知识是距离的计算和权重计算。我们把需要预测的点作为中心点,然后计算其周围一定半径内的已知点距离待测样本的距离,挑选最近的TopK,进行投票,哪个类别多,该预测点就被判定属于哪一类。

距离计算

在投票之前,需要度量待测样本与空间中所有点的距离,机器学习中距离的度量通常有多种方式,比如曼哈顿距离、余弦相似度、Jaccard相似度、欧式距离等。对于KNN算法使用最多的还是欧式距离。

(1)以二维平面坐标为例,假设二维空间中有两个点A(x1,y1)和B(x2,y2),则这两个点的欧式距离计算公式如下:

(2)如果是三维空间中的两个点,A(x1,y1,z1)和B(x2,y2,z2),则这两个点的欧氏距离计算公式为:

 (3)推广到一般普适性,空间任意两个n维向量A(x11,x12,...,x1n)和B(x21,x22,...,x2n),则两个点之间的欧式距离计算为:

 欧式距离的优缺点:

优点:

(1)计算简单,易于理解

(2)随着数据维度的增加,欧式距离的效果不佳,这与维度诅咒有关,在高维空间效果不佳,欧式距离对于二维或三维空间问题发挥较好。

缺点:

(1) 距离的计算会根据不同维度特征单位的选择不同而有所偏斜,这就是机器学习中对于涉及距离计算类算法存在的共性问题,即“量纲差异”。具体表现为数值较大的特征往往对欧式距离的计算结果起主导作用。

三、K最近邻算法详解

已知有两个类别的数据-三角形和圆形,如下图所示,其中三角形主要分布在坐标系左侧,而圆形主要分布在坐标系的右侧。

    

 左图为源数据在二维空间的分布图,右图为新增两个待测样本点,红色的六角形样本点(2,5),很容易可以判定该点属于三角形的类别,因为其附近的样本全为三角形。同理对于蓝色心形样本点(8,5),也很容易判定属于圆形的类别

上面的例子显而易见,然而也可能会出现不好判定的情形,如下图,左图中的三角形和圆形为原样本点,对于绿色五角星新样本点(5,5),应该属于哪个类别呢?周围既有三角形,又有圆形,此时如何决策呢?

 在前文我们已经知道,K最近邻算法首先就要计算待测样本点与所有样本点之间的距离(如上面右图),然后将距离从小到大排序,取出前k个值,假设取k=5,则如下图所示,此时不难看出只剩下3个三角形和2个圆形,因此投票的结果是三角形,所以此时待测样本点被预测为三角形。

 KNN最近邻算法步骤:

(1)为判别未知样本点所属的类别,应以所有已知类别的实例作为参照

(2)选择参数K,通常不大于20,以奇数为佳

(3)计算待测样本点与所有已知类别的样本点之间的距离

(4)排序,选择最近K个已知样本点

(5)对上述K个最近邻的样本点类别进行投票,决定待测样本点所属的类别

距离加权最近邻算法

上面我们讲到KNN算法一般K值应该选择奇数,但是偶数其实也不是不可以。但是对于上面讲到的投票法来说,容易出现投票数相同的情况,会导致类别无法决定。

我们这里举个简单的例子来说明距离加权最近邻算法。

 假定k=2,如上图待测的红色五角星样本点坐标为(4.9,5),到距离最近的两个点的距离分别为0.9和1.1,我们可不可以说,待测点更靠近三角形,所以待测点类别应该判定为三角形呢?

答案:完全是可以的,这其实就是距离加权最近邻算法。距离加权算法有很多种,可以根据自己的应用场景自己设定距离加权规则,本例中采用最简单的方式,即加权系数为1/d,其中d为待测点与某个类别样本点之间的距离。

因此在本例中,待测点到最近三角形距离为0.9,所以加权系数为1/0.9=1.11,而待测点到最近的圆形点为1.1,所以加权系数为1/1.1=0.91.

1.11 > 0.91,所以待测样本点被划归到三角形类别。

同理,对于K>=3的情形,待测样本点被划分到不同类别,依据加权系数进行累加求和,然后再比大小,加权系数累加和大的类别为待测样本的所属类别。

四、最近邻算法的几个关键技术问题

4.1 量纲差异

通常来说,数据可能存在多个维度,每个维度数值之间可能存在较大差异,对于存在量纲差异的数据,数值差值最大的属性对计算结果起到决定性的影响。

举个栗子:

海伦经常使用在线约会网站寻找约会对象,经过总结,发现曾交往过三种类型的人:

(1)不喜欢的人

(2)魅力一般的人

(3)极具魅力的人

海伦从约会网站收集到的数据,共计1000条,每个样本占据一行,几列表示几个维度的特征,海伦对这几个维度都比较看重。这里截取几条数据展示。 

如果想计算样本3和4之间的距离,可以使用欧式距离:

 问题:中间的(2000-32000)的平方项对整个计算结果的影响很大吗? 上述计算距离,KNN算法的类别选择几乎取决于飞行里程数。显然不合理,海伦认为上述几个因素都很重要。而不应该飞行里程数严重影响结果。

解决方案:

对数据进行归一化,消除量纲差异,使得各特征一视同仁。

扩展知识:距离内的算法都面临这个问题,比如kmeans算法等。另外数据归一化可以加快机器学习算法模型训练速度。

归一化: 为了消除指标之间的量纲影响,需要进行数据标准化处理,以解决数据指标之间的可比性。原始数据经过数据标准化处理后,各指标处于同一数量级,适合进行综合对比评价。

常用归一化方法:

(1)min-max标准化:

也称为离差标准化,是对原始数据的线性变换,使结果值映射到[0 ,1]之间。    

 计算公式为: x = (x - min)/(max - min)

 其中,max: 样本数据的最大值; min: 样本数据的最小值

(2)Z-score标准化方法:

给予原始数据的均值(mean)和标准差(standard deviation)进行数据标准化。经过处理的数据符合标准正态分布,即均值为0,标准差为1。    

计算公式为:  x = (x - u)/σ            

其中,u: 所有样本数据的均值;    σ: 为所有样本数据的标准差

4.2 K值的选择

如何选择一个最佳的K值取决于数据?

一般情况下,K值选择的不同,可能获得完全不同的结果。

另外,在分类时较大的K值能够减小噪声的影响。但会使类别之间的界限变得模糊。如下图:

(1)K值较小,则模型复杂度较高,容易发生过拟合,学习的估计误差会增大,预测结果对近邻的实例点非常敏感。

(2)K值选择太大,模型就变得过于泛化,无法准确预测训练和测试集中的数据点,这种情况称为欠拟合。

(3)在应用中,k值一般取一个比较小的值,通常采用交叉验证法来来选取最优的K值。

(4)K值选择一个奇数,通常不超过20。

思考:K值取全量样本,还有意义吗?

 

4.3 样本不均衡问题

如果数据存在严重的不平衡,预测得出的结论往往也是有偏的,即分类结果会偏向于较多观测的类。

欠采样: 将多的那一类砍掉一部分(即欠采样),但是砍掉的数据会导致某些隐含信息的丢失。 过采样: 有放回的抽样形成的简单复制,又会使模型产生过拟合。

优化的过采样方法:在过采样的基础上,对样本做一些优化,比如坐标加一些扰动,具体地可以增加正负5%的偏移,当然在图像处理领域有一系统数据增强的方法。这里不做赘述了。

4.4 K最近邻算法优缺点:

优点:

(1)简单,易于理解

(2)容易实现

(3)通过对K值的选择可具备噪音数据的健壮性(即对异常值不敏感)

缺点:

(1)空间复杂度高

(2)计算复杂度高

(3)样本不平衡问题

五、几个思考题巩固一下

1. 简述一下KNN算法的原理和一般步骤?

2. KNN算法中为什么要做数据归一化?

3. KNN算法如何度量距离?

4. K值选择对结果有什么影响?

  • 5
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值