多核模糊C均值聚类

摘要：

　　针对于单一核在处理多数据源和异构数据源方面的不足，多核方法应运而生。本文是将多核方法应用于FCM算法，并对算法做以详细介绍，进而采用MATLAB实现。

 

　　在这之前，我们已成功将核方法应用于FCM算法，在很大程度上解决了样本线性不可分的情况。但是这种单一核局限于对数据的某一特征进行有效提取，若一个样本含有多个特征，且遵循不同的核分布，单一核学习就不适用，所以说单一核在处理多数据源以及异构数据源的不足是越发明显。

　　针对于单一核学习不足，我们可以同时结合多个核函数对数据的多种特征进行同步描述，并且自适应的调整核函数权重对多个核函数进行凸组合，这在一定程度上可以避免了最佳核函数的选择，将这种方法我们称之为多核。

一 多核模糊C均值聚类算法概述

　　多核方法的本质是用组合后的核函数代替之前的单一核函数。本文主要是将多核方法应用到FCM算法当中，我们暂且将其命名为多核模糊C均值聚类算法（MKFCM），算法的目的是找到最佳的隶属度以及核之间的最优结合方式。MKFC通过将特征的权重嵌入到算法进程中，自动调节权重进行核之间的合并，减轻了无关核对算法的影响，同时充分发挥对学习效果有利核函数对最终聚类结果的作用，反之亦然，这也使得核之间的结合变得合理有效，同时也使得核函数达到最大化利用。接下来对算法进行详细的描述：

 

1. 目标函数

　　核方法通过非线性映射将原始数据通过特征映射嵌入到新的特征空间从而发现数据之间的非线性关系。假定在MKFC中，含有M个特征映射，分别记为：，每一个映射都将原L维数据重新编码为特征空间上的维数为L_k的向量。考虑到核方法的应用，可将这些映射分别对应的Mercer核记为，根据核的定义则有：　　　　

    为了使得到的基础核相互结合并且确保构造的的核依旧满足Mercer定理，可假定为这些特征映射的非负结合，且遵循线性结合：　　　　

　　根据之前的分析，核方法是通过特征映射在特征空间上发现数据之间的线性关系，那么采用不同的特征映射重新编码得到数据的维数将不尽相同，上述核之间的线性结合很难实现。因此可根据，构造一个新的独立的特征映射集，可假定：　　　　

新构造出来的特征映射集的每一个映射分别将原数据X转换为一个L维的向量，其中：

    上述分析我们提到，特征空间中数据间的维数不尽相同，考虑到聚类划分依据的是输入空间的数据点，那么可以交互特征间的维数使得数据依旧遵循正交基础。综上分析，新构造的独立特征映射集确保了特征空间上的映射具有相同的维数，因此，采用上述方法进行核之间的线性结合合情合理。同时，这些映射必须遵循一定的正交基础：　　　　　　

其中：　　　　

　　　　

这些正交基础在一定程度上阻止了无关联特征映射之间的交互，同样，这些映射之间存在线性非负关系，因此我们需找到一个关于的线性非负关系，即找到函数的最优解。那么，对应的目标函数可转化为：                   

其中：        

                         

约束条件分别为：

                                      

其中， V_c指的是特征空间上的第c个聚类中心；代表权重向量；U_ic是隶属度矩阵U中的元素；V是一个的矩阵，其中矩阵的列分别对应于聚类中心。

 

 2. 最优化隶属度

   MKFC的目的是同时找到目标函数最优化的权重W，隶属度U以及聚类中心V。聚类中心处于不同的特征空间中，直接计算聚类中心是不可能的，但聚类中心是可以用核进行转换的。可以通过给定权重和聚类中心发现最优的隶属度函数，用来表示数据和聚类中心之间的距离：

                            　　　　　　　　

相应的目标函数为：                                 

该目标函数同样含有约束条件，可引入拉格朗日因子构造新的目标函数：                           

对于隶属度，得到目标函数求极值的最优化条件：