KNN与K-Means算法的区别和共同特点

1、KNN算法与K-Means算法的区别：

（1）解决什么问题？

KNN是有监督的学习算法，解决的是分类问题，也就是说，KNN使用有分类标签的数据集通过计算对新的数据进行分类预测；

K-Means是无监督学习，解决的是聚类问题，即训练数据集没有分类标签，通过K-Means算法将数据集划分为K类。

（2）K是什么？

KNN算法的原理：
a、对于一个待划分类别的数据点，计算实例与数据集中其它点的距离
b、选出距离最近的K个点，
c、在这K个点中，出现次数最多的类别就是这个数据点的预测分类。

K-Means算法的原理：
a、选取K个类的中心点，这些中心点一般是随机选取的
b、将其他点按照距离划分到这K个类中，并重新计算K类的中心点
c、重复上面的步骤，直到中心点不再发生变化，也可以指定最大迭代次数，迭代次数达到最大数时，即使中心点发生变化，也将停止迭代

所以，KNN中的K是距离数据点最近的点的数量，K-Means中的K是聚类的数量。

2、KNN算法与K-Means算法的相同点：

都会计算距离，并且会使用以下同样的算法：

a、欧式距离，例如：对于二维空间的计算公式为：

b、曼哈顿距离：

c、切比雪夫距离：
就是这两个点坐标数值差的绝对值的最大值，用数学表示就是：max(|x1-y1|,|x2-y2|)

d、余弦距离：
计算的是两个向量的夹角，是在方向上计算两者之间的差异，对绝对数值不敏感。在兴趣相关性比较上，角度关系比距离的绝对值更重要，因此余弦距离可以用于衡量用户对内容兴趣的区分度。比如我们用搜索引擎搜索某个关键词，它还会给你推荐其他的相关搜索，这些推荐的关键词就是采用余弦距离计算得出的。