无参数的自权重多图学习(Auto-weighted Multiple Graph Learning, AMGL)是一种用于多视图学习的方法,特别适用于处理具有多个角度或特征表示
的数据。
AMGL的目标是在不需要人工设定参数
的情况下,自动确定不同视图或图的相对重要性
,从而整合多个图的信息来提高分类或聚类的准确性。
AMGL 方法概述
AMGL 方法主要关注如何有效地结合
多个图的信息。
在传统的多图学习中,不同的图可能代表了数据的不同方面或特征,而AMGL则试图找到一个最优的权重分配策略
,使得最终的融合图
能够最大程度地保留原始数据的内在结构。
AMGL 的公式
假设我们有
K
K
K 个图
{
G
k
}
k
=
1
K
\{G_k\}_{k=1}^{K}
{Gk}k=1K ,其中每个图
G
k
=
(
V
,
E
k
,
W
k
)
G_k=(V,E_k,W_k)
Gk=(V,Ek,Wk) 包含相同的顶点集合
V
V
V 和不同的边集合
E
k
E_k
Ek 与权重矩阵
W
k
W_k
Wk 。
目标是学习一个权重向量
α
=
[
α
1
,
α
2
,
.
.
.
,
α
K
]
T
\alpha=[\alpha_1,\alpha_2,...,\alpha_K]^T
α=[α1,α2,...,αK]T ,并构建一个综合图
G
=
(
V
,
E
,
W
)
G=(V,E,W)
G=(V,E,W) ,其中
W
=
∑
k
=
1
K
α
k
W
k
W=\sum_{k=1}^{K} \alpha_k W_k
W=∑k=1KαkWk 。
拉普拉斯矩阵
对于每个图
G
k
G_k
Gk ,我们可以构造其对应的拉普拉斯矩阵
L
k
=
D
k
−
W
k
L_k=D_k-W_k
Lk=Dk−Wk ,其中
D
k
D_k
Dk 是
G
k
G_k
Gk 的度矩阵
,即
D
k
D_k
Dk 的对角元素是
W
k
W_k
Wk 的行和。
目标函数
AMGL 的目标函数旨在最小化所有视图的总变化
,同时保持图之间的差异性
,可以用以下公式表示:
min α ∑ k = 1 K α k T r ( X T L k X ) − λ α T Q α \min_{\alpha} \sum_{k=1}^{K} \alpha_k Tr(X^TL_kX) - \lambda \alpha^T Q \alpha αmink=1∑KαkTr(XTLkX)−λαTQα
其中,
- T r Tr Tr 表示矩阵的迹(即主对角线元素的和)。
- L k L_k Lk 是第 k k k 个视图的拉普拉斯矩阵
- X X X 是·数据矩阵,其中每一列代表一个样本。·
-
Q
Q
Q 是一个矩阵,用于
衡量不同视图之间的相似性
,通常由数据的协方差矩阵
得到。 - λ \lambda λ 是一个正则化参数,平衡不同视图之间的贡献和它们之间的差异性。
约束条件
AMGL 方法还包含两个约束条件:
- α k ≥ 0 \alpha_k \geq 0 αk≥0 ,确保所有权重都是非负的。
-
∑
k
=
1
K
α
k
=
1
\sum_{k=1}^{K} \alpha_k = 1
∑k=1Kαk=1 ,确保权重向量
α
\alpha
α
归一化
,即所有视图的权重总和为1。
解决方案
AMGL 的目标函数可以通过求解二次规划
问题来解决。
一旦得到了最优的权重向量 α \alpha α ,就可以构建出最终的综合图,用于后续的分类或聚类任务。
公式字符解释
- K K K :视图的数量。
- G k G_k Gk :第 k k k 个视图的图。
- V V V :图的所有顶点集合。
- E k E_k Ek :第 k k k 个视图的边集。
- W k W_k Wk :第 k k k 个视图的权重矩阵。
- D k D_k Dk :第 k k k 个视图的度矩阵。
- L k L_k Lk :第 k k k 个视图的拉普拉斯矩阵。
- α \alpha α :权重向量。
- X X X :数据矩阵。
- T r Tr Tr :矩阵迹运算符。
- Q Q Q :视图间相似性矩阵。
- λ \lambda λ :正则化参数。
通过以上方法,AMGL 能够自动学习到不同视图的重要性
,进而提升基于图的学习任务的性能。