机器学习K近邻算法

**

机器学习之入门级算法K近邻

**

我们所说的KNN也就是K近邻算法！ 这是用来解决分类问题的：在训练集标签已经确定的情况下，给定一条新的数据，通过K近邻算法来确定它属于哪一类。
K近邻算法与逻辑回归不同的是: K近邻可以解决多分类问题，而逻辑回归是解决二分类问题的（但是工作当中逻辑回归用的还是比较多的）
我之所以建议学习机器学习先学K近邻算法，是因为大多数算法需要数学方面的基础特别多，而K近邻中很少用到数学方面的知识

接下来就开始讲解K近邻算法的思路:
先来看一张图 ↓

在上面这个图中有两类, 来判断心型属于哪一类？
那么K近邻的思想就是：选取距离心型最近的K个点，
比如说K=3
就是选取3个点（如下图）
根据该图可以推测出来心型是红圆

再例如: K=5（如图）:

可以看到，根据该图我们可以推测出: 它为黑三角类

根据上述过程中：我们可以看出K的取值对K近邻算法的结果影响很大。根据我个人的经验来看，一般K的取值: k<=20。k的取值最好是奇数

那么K近邻算法的过程就是 :

• 计算测试数据与各个训练数据之间的距离
• 按照距离的递增关系进行排序
• 选取距离最小的k个点
• 确定前k个点所在类别的出现频率
• 返回前k个点钟出现频率最高的类别作为测试数据的预测分类

最后补充一点，我们算这个距离的时候用的是欧氏距离

							  **原创**