论文笔记：基于随机特征的多核分布式协同模糊聚类算法研究

1 摘要

论文设计实现了四种基于随机特征的集中式核模糊聚类算法，一种基于随机特征的多核分布式协
同模糊聚类算法。
（1）基于随机特征的单核模糊聚类算法。该算法使用随机特征方法近似核函数，在随机特征空间中进行模糊聚类。其随机特征的方法比较了两种测试结果说明准蒙特卡洛特征可以比随机傅里叶特征更好的近似核函数。
（2）基于随机特征的单核属性加权模糊聚类算法。该算法将原始数据映射到随机特征空间后，
为随机特征空间中的每个维度赋予权重，并使用最大熵正则化方法在聚类过程中自动的优化权重分布。
（3）基于随机特征的多核核加权模糊聚类算法。该算法使用随机特征方法近似多核核函数，并使用最大熵方法自动优化核函数的权重分布。
（4）基于随机特征的多核属性加权模糊聚类
算法。该算法使用随机特征方法近似多个核函数，并将多个随机特征空间融合成一个组
合的随机特征空间，为组合的随机特征空间的每个维度赋予权重，使用最大熵正则化方法在聚类过程中自动的优化权重分布。
参考文献学习：

1. 协同聚类算法[12]；
2. 随机特征方法近似核函数[13-14]；
3. 最大熵正则化方法[15-16]；
   设计思路：
   首先，设计基于随机特征的单核模糊聚类算法，验证随机特征方法用于核聚类领域的有效性；
   然后，设计基于随机特征的多核聚类算法，验证在模糊聚类中使用随机特征方法近似多核核函数的效果；
   最终，完成基于随机特征的多核分布式模糊聚类算法，实现本文的目标。

2 研究方法—核的学习

核方法的主要思想是基于这样一个假设：“在低维空间中不能线性分割的点集，通过转化为高维空间中的点集时，很有可能变为线性可分的”。

左图的两类数据要想在一维空间上线性分开是不可能的，然而通过F(x)=(x-a)(x-b)把一维空间上的点转化为右图上的二维空间上，就是可以线性分割的了。但是如果直接把低维的数据转化为高纬度的空间中，然后再去寻找线性分割平面，会遇到两大难题：（1）在高维空间计算，会导致维度灾难；（2）麻烦，低维空间的每一个数据都必须先转换到高维空间然后求取分割平面的参数等，像上面一维的转换到高维的，还容易，如果是多维的数据呢？因此引入核的方法，即：kernel trick。

3 研究方法—多核

3.1 基于随机特征的多核核加权模糊聚类算法(MK-FCM）

1、算法原理

MK-FCM 算法使用随机特征方法近似多个核函数，以此减轻核函数选取对聚类结果的影响；并使用最大熵正则化方法在聚类过程中自动优化每个核函数的权重。

2、目标函数

3、迭代公式

U：
C:

W:

4、算法流程

3.2 基于随机特征的多核属性加权模糊聚类算法(RF-MKFCM)

1、算法原理

考虑到组合随机特征空间中不同维度对于聚类的重要程度不同。RF-MKFCM 算法使用随机特征方法近似多个核函数，并为组合特征空间中的每个
维度赋予一个权重，使用最大熵方法在聚类过程中自动优化权重分布。该算法的原理图如图所示：

2、目标函数

3、迭代公式

U：

C:

W:

4、算法流程

5、实验测试

4 研究方法—多核分布式

基于随机特征的多核分布式协同模糊聚类算法（RF-CDMKFCM）

1、算法原理

RF-CDMKFCM 算法中，分布式点对点网络的每个节点首先独立的将其数据映射到组合的随机特征空间中，并为组合特征空间的每个维度赋予权重。随后，各节点交替的进行聚类与信息交换。在聚类过程中，各节点使用其本地数据和从相邻节点交换来的信息进行聚类，使用最大熵正则化方法优化维度权重分布。在信息交换过程中，各节点预期相邻节点交换类中心与权重。最终，各节点都达到聚类停止条件，得到全局一致的聚类结果。

2、目标函数

3、迭代公式

4、算法流程

5 参考文献

1. 核方法(kernel method)的主要思想
2. kernel的理解