基于二分图的大规模高光谱图像模糊嵌入聚类
abstract
首先,我们提出了FECBG方法,将模糊聚类与基于二分图的非负正则化项结合到一个统一模型中,该方法具有良好的聚类性能,并降低了模糊聚类对初始聚类中心的敏感性。其次,我们采用快速谱嵌入方法来获得HSI数据的低维表示,以降低计算复杂度。最后,在模糊聚类中加入基于二部图的非负正则化项,以约束模糊隶属度矩阵的解空间
introduction
允许数据点在所有集群中具有成员身份,而不是在单个集群中分离成员身份。
然而,FCM对初始群集中心非常敏感,这可能会导致较差的群集性能
目前,最有效的复杂度降低方法是基于锚的图构造,它从原始数据中选择m个锚点,然后计算数据点和锚点之间的二分图
主要贡献:
- 将模糊聚类与基于二部图的非负正则化项相结合,提出了一种新的模型,该模型可以降低模糊聚类对初始聚类中心的敏感性,以处理大规模HSI。此外,还提出了另一种优化方法来优化所提出的模型。
- 通过基于二部图的非负正则化项约束模糊隶属度矩阵的解空间,FECBG可以获得每个HSI数据的更好的隶属度,从而减少初始聚类中心的影响。
- 利用基于快速谱嵌入的低维表示,FECBG可以降低计算复杂度,更有效地进行大规模HSI聚类
FECBG ALGORITHM
首先使用快速光谱嵌入方法来获得HSI的低维表示。然后,我们在光谱嵌入数据上建立了一种新的模糊聚类算法。最后,我们详细描述了FECBG算法的推导过程
快速谱嵌入表示
为了从HSI中获得低维表示数据,首先结合HSI的空间信息构造二分图
设X=[x1,x2,…,xn]T∈ Rn×d表示HSI数据矩阵,其中n是数据点的数量,d是特征数和每个数据点的xi∈ Rd属于c类之一。xi和x j之间的边的权重定义为ai j,A={ai j}∈ ×n,∀i、 j中∈ 1,…,n表示二部图的相似矩阵
首先,我们使用K-means方法生成m个聚类中心作为锚,设U=[u1,u2,…,um]T∈ Rm×d表示生成的锚点。其次,我们设计了一个矩阵Z∈ Rn×m,测量数据点和锚之间的相似性
矩阵Z定义为:
其中k是最近邻居的数量。当我们获得矩阵Z时,相似度矩阵A可以通过:
A
=
Z
Λ
−
1
Z
T
A=Z \Lambda^{-1} Z^T
A=ZΛ−1ZT
接下来的奇异值分解过程与FSCAG一模一样,不做赘述……
二部图的模糊聚类
我们利用谱嵌入数据F重新定义模糊聚类目标函数:
其中vj表示第j个簇的中心,yij表示属于第j个聚类的第i个样本的隶属度。
为了使数据与其聚类中心之间的关系更为合理,一些方法通过在4中添加正则化项来解决这个问题
假设模糊隶属度的预测函数为 Φ : R d ↦ R c \Phi: \mathbb{R}^d \mapsto \mathbb{R}^c Φ:Rd↦Rc,HSI 数据点ix 的隶属度向量为 Φ ( x i ) \Phi(x_i) Φ(xi),锚点 u i u_i ui的隶属度向量为 Φ ( u i ) \Phi(u_i) Φ(ui),锚点的标签矩阵为 P = [ Φ ( u 1 ) , Φ ( u 2 ) , … , Φ ( u m ) ] T ∈ R m × c P=[\Phi(u_1),\Phi(u_2),\dots,\Phi(u_m)]^T \in \mathbb{R}^{m \times c} P=[Φ(u1),Φ(u2),…,Φ(um)]T∈Rm×c,通过上述假设,HSI 数据点xi 的隶属度向量为 Φ ( x i ) \Phi(x_i) Φ(xi)与锚点的标签矩阵 P 之间的关系可以表示为
其中,iz 为二部图矩阵 Z 的第i 列向量。根据公式(4.8)可知,矩阵Y 是 HSI 数据点的隶属度矩阵,同理,
Y
=
[
Φ
(
x
1
)
,
Φ
(
x
2
)
,
…
,
Φ
(
x
m
)
]
T
∈
R
n
×
c
Y=[\Phi(x_1),\Phi(x_2),\dots,\Phi(x_m)]^T \in \mathbb{R}^{n \times c}
Y=[Φ(x1),Φ(x2),…,Φ(xm)]T∈Rn×c,上述公式的矩阵形式:
Y
=
Z
P
(6)
Y=ZP \tag{6}
Y=ZP(6)
过矩阵 P 更准确地描述二部图 Z 与隶属度矩阵Y 之间的关系。利用二部图能够充分的表征整个数据集,从而平衡所有聚类中心与 HSI 数据点的隶属度。
如图所示,清晰说明了原始 HSI 数据点、锚点、数据点的类别三者之间的关系。模糊聚类的目的是利用模糊隶属度将原始 HSI 数据点划分为不同的类别,锚点可以视为原始数据点与类别之间的一座桥梁。通过二部图矩阵 Z 和学习得到的锚点标签矩阵 P 能够对原始 HSI 数据点与类别之间构建更有效的连接关系,基于此,可以根据二部图矩阵 Z 直接获得 HSI 数据点的隶属度矩阵Y 。
为了使光谱嵌入数据与其聚类中心之间的关系更加合理,我们添加了正交约束和(6)到(4)
为了方便求解7,公式改写为:
第一项为模糊聚类,以谱嵌入数据作为输入。第一项计算谱嵌入数据与聚类中心的距离来分配隶属度,可以使得降低计算复杂度。第二项为隶属度矩阵的 F 范数约束,限制隶属度矩阵的解空间,从而减少初始聚类中心对模型的影响
优化
FECBG 算法的目标函数主要包含三个需要求解的变量,分别为聚类中心矩阵V 、锚点的标签矩阵 P 和数据点的隶属度矩阵Y 。本章采用交替迭代法对公式(8)进行求解:
- 固定矩阵 P 和矩阵 Y ,更新V ;
- 固定矩阵V 和矩阵 Y ,更新 P ;
- 固定矩阵V 和矩阵 P ,更新 Y 。
更新v
当矩阵 P 和矩阵Y 固定时,公式(8)可以转化为:
关于vj的导数并将其设置为零。等式(9)可通过以下方式求解:
上述过程可参考模糊聚类:https://blog.csdn.net/qq_45178685/article/details/126896234
更新p
问题8变为:
由于(11)是一个最小二乘问题(正规方程),我们可以通过以下方法获得封闭解
其中,第一项 中不包含矩阵 P ,其对矩阵 P 求导为 0。第二项对矩阵 P 求导等于 Z T Y Z^TY ZTY ,第三项矩阵 P 求导等于 2 Z T Z P 2 Z^TZP 2ZTZP 。因此,对公式(11)的矩阵 P 求导并令等式为 0,矩阵 P 的解为:
12所示的解是全局最优解
更新Y
当矩阵V 和矩阵 P 固定时,公式(8)可以转化为:
假设 e i j = ∣ ∣ f i − v j ∣ ∣ 2 2 e_{ij} = ||f_i-v_j||_2^2 eij=∣∣fi−vj∣∣22表示距离矩阵 E ∈ R n × c E \in R^{n \times c} E∈Rn×c的第i行第 j 列的元素。那么上述公式可以改写为:
矩阵Y 的约束条件为正交约束且大于等于 0,上述公式的拉格朗日函数可以表示为
其中, λ 2 \lambda_2 λ2为控制正交约束的平衡参数, α ≥ 0 \alpha \geq 0 α≥0表示拉格朗日乘子。上述公式的第二项可以转换为:
对上述公式矩阵Y求导并令等式为0:
根据 Karush-Kuhn-Tucker(KKT)条件,有 α ∘ Y = 0 \alpha \circ Y= 0 α∘Y=0 ,其中 ∘ \circ ∘ 为哈达玛乘积。那么上面公式可以优化为:
迭代更新矩阵V 、矩阵 P 和矩阵Y 直到公式(8)收敛,从而获得模糊隶属度矩阵Y 。