【机器学习】最近邻策略:k-means和KNN

假设我们已经利用一堆样本{(x,y)}进行了训练,得到了k个分类和k个分类的重心,那么对于待测数据x’,计算x’到k个分类重心的距离,距离最近的分类y‘即为x’的分类。这是最近邻策略的基本思路,从中衍生了k-means和KNN方法。如何度量距离是一个复杂的问题,一般情况下我们习惯使用欧氏距离来表征分类距离。如果我们要调整n个分类特征的权重,可以修改距离度量的定义;可以将n个分类特征变为特征的函数f(xn),从而衍生出高维特征。这里我们默认使用欧式距离。

K均值聚类(K-means):这个方法简单来说就是给定k个初始样本点作为k个起始集合(小黑洞),起始集合附近的样本点被吸引、合并形成新的更大的集合,然后以新集合的重心为中心重新吞并附近的样本点,直到最近两次的聚类中心没有太大变化或者达到最大迭代步数,从而把样本点集合分成k个集合。该方法的中心思路和EM算法大同小异。



K-means聚类方法的初始化,要求我们事先知道样本总体有多少个类别。选好起始的k个初始点,对结果有巨大影响。最简单的方法是随机取k个点,这个结果随机性太强。为了得到比较好的结果,我们可以寻找到彼此离得最远的k个数据点;此外也可以使用canopy和kmeans++方法进行初始化,这里不记录。

首先找到最远的两个点作为聚类点;接下来计算每个数据点与最近的聚类的距离,而不是每个数据点与所有聚类点距离的总和,然后找出距离最大的点作为第三个点;依次类推。不能使用当前点与所有聚类点的距离之和的原因如图:


可以看出,当前聚类点旁边的点,该点与其他所有聚类点的距离之和是最大的,但是该点与离其最近的聚类点的距离是最小的。与所有聚类点都离得比较远的点,该点与离其最近的聚类点的距离最大。


K最近邻分类法KNN:我们用足够的训练样本,通过诸如k-means的方法训练得到k个分类的重心和大致范围,如果待测数据x到第i个分类的距离最小,那么有理由认为x属于分类i。

 

《统计学习基础》介绍了一个应用最近邻策略的手写英文字符(256×256像素)识别方法,同时也说明距离度量的定义灵活性相当高。我们已经获取256×256像素标准的英文字符,然后对比手写字符和标准英文字符的匹配程度。手写字符可能与标准字符相比,可能有大有小有旋转,有一定扭曲,那么手写字符A到标准字符A的匹配程度可能还不如其他字符。这里书中引入不变性概念:如果我们将标准字符A进行放大缩小、旋转、扭曲变换,得到A的标准字符集,然后计算同样变换过的手写字符集A和B到标准字符集A的最大匹配程度,结果表明A肯定是比B高的。不变性最近邻方法的计算规模增加了几十倍,复杂度高,不过计算规模小于神经网络,正确率持平神经网络。

《统计学习基础》中还提到了自适应最近邻策略,这个策略会自适应变化每个已分类点的最近邻搜索范围,即精细地改变已分类集合往外合并样本点的规则。


https://github.com/artzers/MachineLearning.git Kmeans.py

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值