Fuzzy Embedded Clustering Based on Bipartite Graph for Large-Scale Hyperspectral Image

基于二分图的大规模高光谱图像模糊嵌入聚类

abstract

首先，我们提出了FECBG方法，将模糊聚类与基于二分图的非负正则化项结合到一个统一模型中，该方法具有良好的聚类性能，并降低了模糊聚类对初始聚类中心的敏感性。其次，我们采用快速谱嵌入方法来获得HSI数据的低维表示，以降低计算复杂度。最后，在模糊聚类中加入基于二部图的非负正则化项，以约束模糊隶属度矩阵的解空间

introduction

允许数据点在所有集群中具有成员身份，而不是在单个集群中分离成员身份。

然而，FCM对初始群集中心非常敏感，这可能会导致较差的群集性能

目前，最有效的复杂度降低方法是基于锚的图构造，它从原始数据中选择m个锚点，然后计算数据点和锚点之间的二分图

主要贡献：

1. 将模糊聚类与基于二部图的非负正则化项相结合，提出了一种新的模型，该模型可以降低模糊聚类对初始聚类中心的敏感性，以处理大规模HSI。此外，还提出了另一种优化方法来优化所提出的模型。
2. 通过基于二部图的非负正则化项约束模糊隶属度矩阵的解空间，FECBG可以获得每个HSI数据的更好的隶属度，从而减少初始聚类中心的影响。
3. 利用基于快速谱嵌入的低维表示，FECBG可以降低计算复杂度，更有效地进行大规模HSI聚类

FECBG ALGORITHM

首先使用快速光谱嵌入方法来获得HSI的低维表示。然后，我们在光谱嵌入数据上建立了一种新的模糊聚类算法。最后，我们详细描述了FECBG算法的推导过程

快速谱嵌入表示

为了从HSI中获得低维表示数据，首先结合HSI的空间信息构造二分图

设X＝[x1，x2，…，xn]T∈ Rn×d表示HSI数据矩阵，其中n是数据点的数量，d是特征数和每个数据点的xi∈ Rd属于c类之一。xi和x j之间的边的权重定义为ai j，A={ai j}∈ ×n，∀i、 j中∈ 1，…，n表示二部图的相似矩阵

首先，我们使用K-means方法生成m个聚类中心作为锚，设U＝[u1，u2，…，um]T∈ Rm×d表示生成的锚点。其次，我们设计了一个矩阵Z∈ Rn×m，测量数据点和锚之间的相似性

矩阵Z定义为:

其中k是最近邻居的数量。当我们获得矩阵Z时，相似度矩阵A可以通过:
$$A=Z{\Lambda }^{-1}{Z}^T$$
接下来的奇异值分解过程与FSCAG一模一样，不做赘述……

二部图的模糊聚类

我们利用谱嵌入数据F重新定义模糊聚类目标函数:

其中vj表示第j个簇的中心，yij表示属于第j个聚类的第i个样本的隶属度。

为了使数据与其聚类中心之间的关系更为合理，一些方法通过在4中添加正则化项来解决这个问题

假设模糊隶属度的预测函数为$\Phi :{\mathbb{R}}^d\mapsto {\mathbb{R}}^c$，HSI 数据点ix 的隶属度向量为 $\Phi (x_i)$，锚点$u_i$的隶属度向量为 $\Phi (u_i)$，锚点的标签矩阵为$P=[\Phi (u_1),\Phi (u_2),\dots ,\Phi (u_m){]}^T\in {\mathbb{R}}^{m\times c}$，通过上述假设，HSI 数据点xi 的隶属度向量为$\Phi (x_i)$与锚点的标签矩阵 P 之间的关系可以表示为

其中，iz 为二部图矩阵 Z 的第i 列向量。根据公式（4.8）可知，矩阵Y 是 HSI 数据点的隶属度矩阵，同理，$Y=[\Phi (x_1),\Phi (x_2),\dots ,\Phi (x_m){]}^T\in {\mathbb{R}}^{n\times c}$,上述公式的矩阵形式：
$$Y=ZP\text{\hspace{1em}(6)}$$
过矩阵 P 更准确地描述二部图 Z 与隶属度矩阵Y 之间的关系。利用二部图能够充分的表征整个数据集，从而平衡所有聚类中心与 HSI 数据点的隶属度。

如图所示，清晰说明了原始 HSI 数据点、锚点、数据点的类别三者之间的关系。模糊聚类的目的是利用模糊隶属度将原始 HSI 数据点划分为不同的类别，锚点可以视为原始数据点与类别之间的一座桥梁。通过二部图矩阵 Z 和学习得到的锚点标签矩阵 P 能够对原始 HSI 数据点与类别之间构建更有效的连接关系，基于此，可以根据二部图矩阵 Z 直接获得 HSI 数据点的隶属度矩阵Y 。

为了使光谱嵌入数据与其聚类中心之间的关系更加合理，我们添加了正交约束和（6）到（4）

为了方便求解7，公式改写为：

第一项为模糊聚类，以谱嵌入数据作为输入。第一项计算谱嵌入数据与聚类中心的距离来分配隶属度，可以使得降低计算复杂度。第二项为隶属度矩阵的 F 范数约束，限制隶属度矩阵的解空间，从而减少初始聚类中心对模型的影响

优化

FECBG 算法的目标函数主要包含三个需要求解的变量，分别为聚类中心矩阵V 、锚点的标签矩阵 P 和数据点的隶属度矩阵Y 。本章采用交替迭代法对公式（8）进行求解：

1. 固定矩阵 P 和矩阵 Y ，更新V ；
2. 固定矩阵V 和矩阵 Y ，更新 P ；
3. 固定矩阵V 和矩阵 P ，更新 Y 。

更新v

当矩阵 P 和矩阵Y 固定时，公式（8）可以转化为：

关于vj的导数并将其设置为零。等式（9）可通过以下方式求解：

上述过程可参考模糊聚类：https://blog.csdn.net/qq_45178685/article/details/126896234

更新p

问题8变为：

由于（11）是一个最小二乘问题（正规方程），我们可以通过以下方法获得封闭解

其中，第一项 中不包含矩阵 P ，其对矩阵 P 求导为 0。第二项对矩阵 P 求导等于$Z^{T}Y$ ，第三项矩阵 P 求导等于$2Z^{T}ZP$ 。因此，对公式（11）的矩阵 P 求导并令等式为 0，矩阵 P 的解为：

12所示的解是全局最优解

更新Y

当矩阵V 和矩阵 P 固定时，公式（8）可以转化为：

假设$e_{ij}=||f_i-v_j|{|}_2^2$表示距离矩阵$E\in R^{n\times c}$的第i行第 j 列的元素。那么上述公式可以改写为：

矩阵Y 的约束条件为正交约束且大于等于 0，上述公式的拉格朗日函数可以表示为

其中，${\lambda }_2$为控制正交约束的平衡参数，$\alpha \ge 0$表示拉格朗日乘子。上述公式的第二项可以转换为：

对上述公式矩阵Y求导并令等式为0：

根据 Karush-Kuhn-Tucker（KKT）条件，有$\alpha \circ Y=0$ ，其中$\circ$ 为哈达玛乘积。那么上面公式可以优化为：

迭代更新矩阵V 、矩阵 P 和矩阵Y 直到公式（8）收敛，从而获得模糊隶属度矩阵Y 。