Kmeans聚类算法原理与实现

最新推荐文章于 2024-09-09 21:45:00 发布

weixin_30325793

最新推荐文章于 2024-09-09 21:45:00 发布

阅读量535

点赞数

文章标签： c/c++ 数据结构与算法人工智能

原文链接：http://www.cnblogs.com/star91/p/4761781.html

版权

本文深入探讨了K均值聚类算法的原理、结构、实现细节和应用实例。从算法的基本原理出发，详细阐述了其结构与实现方法，包括使用C++语言构建的面向对象设计，并提供了数据描述、算法描述与源码分析。实验结果显示，算法能有效将三维点云数据分类，但结果依赖于初始聚类中心的选择。最后，分析了算法的优缺点和适用场景。

摘要由CSDN通过智能技术生成

Kmeans聚类算法

1 Kmeans聚类算法的基本原理

K-means算法是最为经典的基于划分的聚类方法，是十大经典数据挖掘算法之一。K-means算法的基本思想是：以空间中k个点为中心进行聚类，对最靠近他们的对象归类。通过迭代的方法，逐次更新各聚类中心的值，直至得到最好的聚类结果。

假设要把样本集分为k个类别，算法描述如下：

　　（1）适当选择k个类的初始中心，最初一般为随机选取；

　　（2）在每次迭代中，对任意一个样本，分别求其到k个中心的欧式距离，将该样本归到距离最短的中心所在的类；

　　（3）利用均值方法更新该k个类的中心的值；

　　（4）对于所有的k个聚类中心，重复（2）（3），类的中心值的移动距离满足一定条件时，则迭代结束，完成分类。

Kmeans聚类算法原理简单，效果也依赖于k值和类中初始点的选择。

2 算法结构与实现方法

Kmeans算法相对比较简单，本次算法实现采用C++语言，作为面向对象设计语言，为保证其良好的封装性以及代码重用性。软件包含三个部分，即kmeans.h，kmeans.cpp和main.cpp。

在kmeans.h中，首先定义一个类，class KMeans，由于本算法实现需要对外部数据进行读取和存储，一次定义了一个容器Vector，其中数据类型为结构体st_point，包含三维点坐标以及一个char型的所属类的ID。其次为函数的声明。

图4.1 程序基本机构与对应函数

在kmeans.cpp中具体给出了不同功能的公有函数，如图_1中所示，函数比较细化，便于后期应用的扩展，比较具体是聚类函数：cluster，其中严格根据kmeans基本原理，聚类的相似度选用的是最简单的欧式距离，而迭代的结束判定条件选用两次中心值之间的偏差是否大于给定Dist_near_zero值。具体参见程序源代码。

3 数据描述

本次算法实验采用数据为三维点云数据，类似于实验室中三维激光扫描仪器所采得数据，形式上更为简单，整齐有规律，在cloudcompare中显示出来，如下图：

图4.2 数据原始图

数据为三维坐标系下的三个点云集，分别为球体，园面以及正方体，而test.txt文件中是一组三维的点集，是混乱的，聚类算法要做的便是将其中分类存储起来。很自然的，聚类中K值选择了3。

在软件实现时，建立了一个含有结构体类型的容器，对原始数据进行读取。

typedef struct st_point

{ st_pointxyz pnt; //st_pointxyz 为三维点结构类型数据 stru st_pointxyz

int groupID;

st_point () { }

st_point(st_pointxyz &p, int id)

{pnt = p;

groupID = id;

}

}st_point;

该数据结构类型中包含三维点数据以及所分类的ID，数据容器为vector<st_point>。

4 算法描述与源码分析

本节重点分析项目中culster聚类函数的具体代码，由于C++语言较适用于大型程序编写，本算法又相对简单，因此未免冗长，具体完整程序见项目源程序。下面只分析Kmeans原理中（2）（3）步骤的程序实现。

如下面程序源代码：

 1 bool KMeans::Cluster()
 2 {
 3     std::vector<st_pointxyz> v_center(mv_center.size());
 4 
 5     do
 6     {
 7         for (int i = 0, pntCount = mv_pntcloud.size(); i < pntCount; ++i)
 8         {
 9             double min_dist = DBL_MAX;
10             int pnt_grp = 0;
11             for (int j = 0; j < m_k; ++j)
12             {
13                 double dist = DistBetweenPoints(mv_pntcloud[i].pnt, mv_center[j]);
14                 if (min_dist - dist > 0.000001)
15                 {
16                     min_dist = dist;
17                     pnt_grp = j;
18                 }
19             }
20             m_grp_pntcloud[pnt_grp].push_back(st_point(mv_pntcloud[i].pnt, pnt_grp));
21         }
22 
23         //保存上一次迭代的中心点
24         for (size_t i = 0; i < mv_center.size(); ++i)
25         {
26             v_center[i] = mv_center[i];
27         }
28 
29         if (!UpdateGroupCenter(m_grp_pntcloud, mv_center))
30         {
31             return false;
32         }
33         if (!ExistCenterShift(v_center, mv_center))
34         {
35             break;
36         }
37         for (int i = 0; i < m_k; ++i){
38             m_grp_pntcloud[i].clear();
39         }
40 
41     } while (true);
42 
43     return true;
44 }