KNN聚类的原理和实现

目录

1.认识KNN算法

2.算法原理

3.实战应用

---

1.认识KNN算法

KNN算法通俗说是寻找最近的k个数据，推测新数据的分类，其核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。就像视频https://blog.csdn.net/haluoluo211/article/details/78177510?locationNum=2&fps=1&utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_title~default-0.essearch_pc_relevant&spm=1001.2101.3001.4242里说的一样，物以类聚，人以群分。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。

2.算法原理

---

2.1通用步骤

         2.1.1计算距离

 （1）欧几里得距离(两点之间的距离)

                二维空间：p=sqrt[ ( x1 - x2）^2 + (y1 - y2 ) ^2]

                三维空间：p=sqrt[ ( x1 - x2 ) ^2 + (y1 - y2) ^2 + (z1 - z2)^2 ]

                ……

                n维空间：

 （2）马氏距离