【最优传输论文十九】2020 AAAI - Gromov-wasserstein factorization models for graph clustering

羊驼不驼a

已于 2023-08-25 18:59:20 修改

阅读量631

点赞数

分类专栏：最优传输文章标签：深度学习论文阅读人工智能

于 2023-08-05 21:19:23 首次发布

本文链接：https://blog.csdn.net/m0_60231311/article/details/132116596

版权

1. motivation

作为机器学习的一种重要方法，因式分解模型明确地探索了高维观测的内在结构，已被广泛应用于数据聚类、降维、推荐系统等学习任务。特别是，因式分解模型将高维观测分解成特定标准下的一组原子，并相应地获得它们的潜在表示。对于每个观测值，其潜在表示对应于与原子相关的系数。

然而，大多数现有的分解模型，如主成分分析(PCA)、非负矩阵分解(NMF) 和字典学习，都是为具有相同维度的矢量化样本而设计的。它们不适用于结构数据，例如图和点云。在图聚类任务中，观察到的图通常具有不同数量的节点，并且它们的节点之间的对应关系通常是未知的，即图是未对齐的。这些未对齐的图不能直接表示为向量。尽管近年来在图神经网络的帮助下提出了许多图嵌入方法，它们通常需要节点属性和标签等附加信息，这些信息在实践中可能不可用。此外，由于没有明确的因式分解机制，这些方法无法找到可以重构观察到的图的原子，因此，由它们导出的图嵌入不如由因式分解模型导出的潜在表示具有可解释性。因此，迫切需要建立一种适用于结构数据的灵活的因子分解模型。

为了克服上述挑战，本文提出了一种基于Gromov-Wasserstein (GW)差异的Gromov-Wasserstein因式分解(GWF)模型。如图1所示，对于每个观测到的图(即红色恒星)，GWF模型基于一组原子(即对应于四个图的橙色恒星)重建它。重建(即蓝星)是原子的GW质心，使其与观测图的差异最小化。原子的重量(即具有不同宽度的蓝色箭头)表示观察到的图的嵌入。学习GW质心可以重建原子图，而GW差异提供了一个伪度量来测量它们的重建误差。本文设计了一个有效的近似算法来学习原子和图嵌入(原子的权重)，展开GW差异和质心的循环计算，并基于包络定理简化反向传播。近似算法可以基于近点算法(PPA) 或Bregman乘法器交替方向法(BADMM) 来实现。

GWF模型显式地将图分解为一组原子。原子为所有的观测所共有，而它们的重量则因人而异。这种模式有几个优点。首先，它具有很高的灵活性。观察到的图、原子和GW质心可以有不同的大小，它们的排列是通过它们之间的GW差所对应的最优输运来实现的。其次，该模型与现有模型兼容，可以基于反向传播学习，可以作为有监督学习中的结构正则器。在数据方面，无论图是否带有节点属性，该模型都是适用的。第三，GWF模型得到的图嵌入更易于解释——它们直接反映了原子的重要性。本文首次尝试建立了图的显式分解机制，扩展了传统的GW差异下的分解模型。实验结果表明，GWF模型在图聚类任务中取得了令人鼓舞的效果。

图1:Gromov-Wasserstein分解模型的说明。每个星形表示一个图形。对于每个图，黑色曲线表示它的边缘，不同颜色的点是它的节点，具有不同的属性。

2. Model

将一个图表示为它的邻接矩阵 $C\in \mathbb{R}^{N\times N}$ ，它的元素是非负的。当图具有d维节点属性时，将其节点属性表示为矩阵 $F\in \mathbb{R}^{N\times D}$ 。进一步，对于图，将其节点的经验分布表示为 $\mu \in\Delta ^{N-1}$ ，其中 $\Delta ^{N-1}=\left \{ x=\left [ x_{n} \right ]\in\mathbb{R}^{N}|x_{n}\geq 0,and \sum_{k}x_{k}=1 \right \}$ 表示一个(N−1)-单纯形。假设经验分布是均匀的,也就是说, $\mu =\frac{1}{N}1_{N}$ 。给一组观测值 $\left \{ C_{i}\in [0,\propto )^{N_{i}\times N_{i}},\mu _{i}\in \Delta ^{N_{i}-1} \right \}_{i=1}^{I}$ ,我们的目标是设计一个K原子分解模型 $U_{1:K}=\left \{ U_{k}=\left [ u_{ij}^{k}\in [0,\propto )^{N_{k}\times N_{k}} \right ] \right \}_{k=1}^{K}$ ,代表每个观察Ci作为嵌入向量 $\lambda _{i}=\left [ \lambda _{ik} \right ]\in \mathbb{R}^{K}$ ,这样的元素 $\lambda _{ik}$ 可以解释为第K个原子的第i个观察值的意义。假设每个λi也在一个(K−1)-单纯形中，即当i = 1,...,I时， $\lambda _{i} \in\Delta ^{K-1}$ ，通常对于不同的 $C_{i}$ 和

最低0.47元/天解锁文章

羊驼不驼a

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
【最优传输论文十九】2020 AAAI - Gromov-wasserstein factorization models for graph clustering

(Gromov-Wasserstein距离)设和是两个度量度量空间，其中(X, dX)是紧度量空间，uX是X上的Borel概率测度((Y, dY, uY)以相同的方式定义)。对于p∈[1，∞]，定义p阶Gromov-Wasserstein距离为是损失函数，Π(uX, uY)是X× Y上以uX和uY为边际的所有概率测度的集合。GW差异类似于GW距离，但它不要求dX和dY是严格的度量。因此，它在结构数据(如图表)上定义了一个灵活的伪度量和点云。特别地，给定两个图和它们的经验实体分布。
复制链接

扫一扫