颜色迁移之四——模糊聚类（FCM）算法

        伴随着模糊集理论的形成、发展和深化，RusPini率先提出模糊划分的概念。以此为起点和基础，模糊聚类理论和方法迅速蓬勃发展起来。针对不同的应用，人们提出了很多模糊聚类算法，比较典型的有基于相似性关系和模糊关系的方法、基于模糊等价关系的传递闭包方法、基于模糊图论的最大支撑树方法，以及基于数据集的凸分解、动态规划和难以辨别关系等方法。然而，上述方法均不能适用于大数据量的情况，难以满足实时性要求较高的场合，因此实际应用并不广泛。

模糊聚类分析按照聚类过程的不同大致可以分为三大类：

(1)基于模糊关系的分类法：其中包括谱系聚类算法(又称系统聚类法)、基于等价关系的聚类算法、基于相似关系的聚类算法和图论聚类算法等等。它是研究比较早的一种方法，但是由于它不能适用于大数据量的情况，所以在实际中的应用并不广泛。

(2)基于目标函数的模糊聚类算法：该方法把聚类分析归结成一个带约束的非线性规划问题，通过优化求解获得数据集的最优模糊划分和聚类。该方法设计简单、解决问题的范围广，还可以转化为优化问题而借助经典数学的非线性规划理论求解，并易于计算机实现。因此，随着计算机的应用和发展，基于目标函数的模糊聚类算法成为新的研究热点。

(3)基于神经网络的模糊聚类算法：它是兴起比较晚的一种算法，主要是采用竞争学习算法来指导网络的聚类过程。

 

在介绍算法之前，先介绍下模糊集合的知识。

HCM聚类算法

        首先说明隶属度函数的概念。隶属度函数是表示一个对象x 隶属于集合A 的程度的函数，通常记做μA(x)，其自变量范围是所有可能属于集合A 的对象（即集合A 所在空间中的所有点），取值范围是[0,1]，即0<=μA(x)，μA(x)<=1。μA(x)=1 表示x 完全隶属于集合A，相当于传统集合概念上的x∈A。一个定义在空间X={x}上的隶属度函数就定义了一个模糊集合A，或者叫定义在论域X={x}上的模糊子集A’。对于有限个对象x1，x2，……，xn 模糊集合A’可以表示为：

        有了模糊集合的概念，一个元素隶属于模糊集合就不是硬性的了，在聚类的问题中，可以把聚类生成的簇看成模糊集合，因此，每个样本点隶属于簇的隶属度就是[0，1]区间里面的值。

 

再接下来要讲FCM算法不得不先讲一下HCM算法

硬C-均值(HCM)算法是实现数据集J硬C划分的经典算法之一，也是最受欢迎的算法之一。它能够把数据集X分成C个超椭球结构的聚类。HCM算法把传统的聚类问题归结为如下的非线性数学规划问题：

其中U=(u_ij)_cxn为硬C-划分矩阵，V=(v1，v2，，，vc)为C个聚类中心，||·||代码欧式距离。

HCM算法的具体流程如下：

初始化：指定聚类类别数C，2<=C<=n，n是数据个数，设定迭代停止阈值Ɛ，初始化聚类中心V0，设置迭代计数器b=0；

步骤一：根据下面的公式计算或更新划分矩阵U

步骤二：根据下面公式更新聚类中心V（b+1）