人工智能-KNN算法

KNN算法在识别算法中属于相对比较简单的。举个例子就好理解。如果有九个人，手里分别拿着写有1到9数字的卡片。
比如第一个人拿着数字1，第二个人拿着数字2，以此类推，第九个人拿着数字9。好了，现在规定拿着数字1到3的三个人为红队，4到6的为黄队，7到9的为蓝队。

现在又来了一个人，他拿着1到9中随机的一个数。那么他应该分到哪个队呢？那位要说了，那还不好分，属于哪段区间就分到哪个队好了。

话是这样说，可对于机器就有点难度了，而且有时数据各种各样还很多，我们做不到一一分类。有时还出乎我们的意料，比如这个来的人傻叉，拿错卡片了，拿个写着10的卡片过来了。那机器不就不会玩了吗！

这时KNN算法就起作用了，它是这样规定的:比较新来的人拿的数字和这些人拿的数字的差值(也就是距离)，然后取差值最小的前K个人。就是看这个人拿的数字和这九个人中哪K个人最接近。在这K个人中多数分到了哪个队，他就分到哪个队了。

比如K取3，新来这个人拿数字4，在这1到9的数字中，取前3个和数字4最接近的，分别是:4、5、3。这三个数中4、5分到了黄队，只有3分到了红队。那么新来的就分到黄队。同上，如果这个人拿着卡片是数字10，当然分到蓝队了。

---

好了，我们规范化的把这个算法写出来:
对未知类别属性的数据集的每个点依次执行以下操作:
1.计算已知类别的数据集中的点与当前点之间的距离。
2.按照距离递增次序排序。
3.选取与当前点距离最小的k个点。
4.确定前k个点所在类别的出现频率。
5.返回前k个点所出现频率最高的类别作为当前点的预测分类。

一般情况数据集中的点都是用特征向量表示的，特征向量一般是多维的。那么点与点之间的距离就要求向量间的欧式距离了。欧式距离的计算如下：

两个n维相量和间的欧式距离为：

更多内容请关注微信公众号：IT职场说