超图survey个人笔记

最新推荐文章于 2024-05-31 15:18:55 发布

umbrellazg

最新推荐文章于 2024-05-31 15:18:55 发布

阅读量471

点赞数

文章标签：笔记

本文链接：https://blog.csdn.net/m0_51576139/article/details/134312270

版权

一篇超图的survey，周报放前面，后面是内容。

1 Title

A Survey on Hypergraph Representation Learning(Alessia Antelmi, Gennaro Cordasco, Mirko Polato, Vittorio Scarano, Carmine Spagnuolo, and Dingqi Yang.) ACM Comput.2023

2 Conclusion

Hypergraphs have attracted increasing attention in recent years thanks to their flexibility in naturally modeling a broad range of systems where high-order relationships exist among their interacting parts. This survey reviews the newly born hypergraph representation learning problem, whose goal is to learn a function to project objects—most commonly nodes—of an input hyper-network into a latent space such that both the structural and relational properties of the network can be encoded and preserved. We provide a thorough overview of existing literature and offer a new taxonomy of hypergraph embedding methods by identifying three main families of techniques, i.e., spectral, proximity-preserving, and (deep) neural networks

3 Good sentence

1、Hypergraphs are the natural representation of a broad range of systems where group (or high-order or many-to-many) relationships exist among their interacting parts. Technically speaking, a hypergraph is a generalization of a graph where a (hyper)edge allows the connection of an arbitrary number of nodes

2、All graph-related problems and corresponding challenges still hold for the hypergraph-based setting, where the computational cost is even more significant due to the presence of high-order interactions(hypergraph plays a critical role in solving analytic problems)

3、All graph-related problems and corresponding challenges still hold for the hypergraph-based setting, where the computational cost is even more significant due to the presence of high-order interactions（the challenge that the hypergraphs will meet）

4、This survey aims to fill this gap by providing a thorough overview of existing literature and offering a taxonomy of hypergraph embedding techniques. Our broadest intent is to develop a comprehensive understanding and critical assessment of the knowledge of this newly born research area.(The importance of this my survey）

具体内容：

简介：

近年来，超图吸引了越来越多的关注，这要归功于它们在自然建模中具有灵活性，在这些系统中相互作用的部分之间存在高阶关系。本文研究了新诞生的超图表示学习问题，其目标是学习一个函数来将输入超网的对象(通常是节点)投射到潜在空间中，这样网络的结构和关系属性都可以被编码和保存。

这篇文章对现有文献进行了全面的概述，并通过确定三个主要的技术种类（原文families of techniques,不知道是不是啥专有名词），提供了超图嵌入方法的新分类。即，光谱spectral，邻近保持proximity-preserving，和(深度)神经网络 (deep) neural networks。对于每个不同的种类，我们在一个单一而灵活的框架中描述其特征和我们的见解，然后讨论各个方法的特点，以及它们的优缺点，然后，回顾了使用超图嵌入的主要任务、数据集及其设置。最后讨论了将激发该领域进一步研究的开放挑战。.

CCS Concepts: • General and reference → Surveys and overviews; • Mathematics of computing →Hypergraphs; • Computing methodologies → Machine learning;(这部分不知道干嘛的，好像是会议文章有时会带的一个东西，在abstract下面，keywords)

引言：

超图是一系列系统的自然表示，在这些系统中，相互作用的部分之间存在群（或高阶或多对多）关系。从技术上讲，超图是一个图的推广，其中（超）边允许连接任意数量的节点。这样的结构可以很容易地将个体在任何规模的团体进行互动的系统（social systems where individuals interact in groups of any size）抽象出来。例如，在 co-authorship collaboration network（合作作者协作网络）中，超边可以表示一篇文章，并将在该文章上协作的所有作者（节点）链接在一起

如左图所示

尽管超图表现特征的能力比较强，但是一直没有得到很好的应用，在文献中一直没有得到充分的探索（有利于它们的对应图）【hypergraphs have been underexplored in the literature (in
favor of their graph counterpart) 】原因是缺乏相应的算法工具以及它们固有的复杂性。

由于越来越多的系统研究表明，将超图转换为经典图要么会导致不可避免的信息损失，要么会产生大量额外节点/边，从而增加下游图分析任务的空间和时间需求，因此超图学习的形式发生了变化：当要研究的基础系统的各组成部分之间表现出高度非线性的相互作用时，越来越多人考虑超图，在实践中，这种使用超图的想法转化为使用超图的网状结构来模拟（可能是不可分解的）群体互动，而这种互动不能简单地用二元组（因此也不能通过图）来描述。例如，当明确考虑到群体时，超图建模已被用于嵌入同质性（即群体对单个个体施加的影响）和顺应性（即群体压力，即个体倾向于将自己的信念与同伴的信念相一致，这通常会被共同意见的性质所强化）等关键社会学概念，以研究意见形成的动态和社会影响扩散。在本综述中，将讨论超图建模比传统图建模更有优势的应用场景，并详细阐述所抽象的多对多关系的特点和所处理的具体任务。

所有与图相关的问题和相应的挑战仍然适用于基于超图的环境，由于存在高阶交互作用，计算成本会更高。

超图表示学习（又称超图嵌入）任务在有效和高效地解决分析问题方面进一步发挥了关键作用。嵌入网络--无论是图还是超图--意味着将其结构和可能的附加信息投射到一个低维空间，在这个空间中，结构和语义信息（如节点邻域和特征）得到了理想的保留。此过程的基本思想是，将节点和（超）边表示为一组低维向量，允许在（超）图上高效执行传统的基于向量的机器学习算法。因此，对于图而言，超图嵌入问题是两个传统研究问题的重叠：超图分析和表示学习【hypergraph analytics and representation learning】。第一个问题旨在从超图结构中挖掘有用信息，而表示学习则旨在学习紧凑的表征（即潜在特征向量），以解决分类、链接预测和推荐等任务。

学习超图而不是图的潜在表示法，可以探索数据之间的高阶相关性和某些组关系的不可分解性，从而建立更全面的表示法，在实践中取得更好的性能。

Differences with previous surveys：

与Y. Gao, Z. Zhang, H. Lin, X. Zhao, S. Du, and C. Zou. 2022. Hypergraph learning: Methods and practices. IEEE【54】和L. Zhang, J. Guo, J. Wang, J. Wang, S. Li, and C. Zhang. 2022. Hypergraph and uncertain hypergraph representation learning theory and method【186】相比，在讨论的主题和涵盖的文献方面有很大不同。

Gao 等人[54]的研究涉及超图学习问题（有时称为超图正则化），这是与超图表示学习相关但不同的课题。根据[54]，超图学习是在分析结构化数据和解决节点分类等问题时沿着超图拓扑传递信息的过程。学习超图嵌入并不是超图学习的目标，尽管这两项任务共享一些概念和思想（如 [194]）。此外，作者还深入分析了超图生成方法（本survey未涉及）。

Zhang 等人的最新调查报告[186]对超图表示学习技术进行了浅显而简要的介绍，提供了与本调查报告类似的单层分类法（见第 5 节）。不过，作者的讨论仅限于一些有代表性的作品，重点是如何使用超图处理不确定数据。他们的调查还涵盖了一些图表示学习和超图生成方法

基于上述原因，我们的研究可以被视为Gao等人[54]和Zhang等人[186]研究的补充，因为它强调了超图表示学习的任务，提供了一系列新的贡献，具体如下

Contributions:

Inherent challenges（挑战）：由于超图是图的概括，图表示学习问题直接继承了一些挑战，而超图的高阶性质带来了额外的挑战。本survey讨论了（超）图嵌入的经典挑战，然后详细介绍了超图结构带来的特殊挑战。
New taxonomies（分类标准）：三种新分类方法：根据以下几点对超图嵌入方法进行分类：(1) 学习方法（光谱、邻近保留和神经网络技术【(spectral, proximity-preserving, and neural network techniques】）；(2) 输入超图的结构（同质/异质、无向/有向、均匀/非均匀、静态/动态、归属/非归属节点、转化为图）【homogeneous/heterogeneous, undirected/directed, uniform/non-uniform, static/dynamic, attributed/not attributed nodes,transformation into a graph】；(3) 期望输出（节点/超边嵌入【node/hyperedge embedding】。
Comprehensive review（总体回顾）：描述了每个超图嵌入类别中最具代表性的方法，揭示了每种学习机制的优缺点，并强调了每个类别中所述技术之间的高层次联系（文章有这一领域的演变过程，但我不太感兴趣）
Hypergraph analytic tasks.（超图分析任务）在表示学习应用的视角下回顾了所讨论的方法，并根据节点和超边相关任务对这些方法进行了分类
Future directions（未来方向）：文章研究了当前技术水平的局限性，并从问题设置、建模技术、可解释性和可扩展性等方面提出了该领域未来的六个潜在发展方向。

METHODOLOGY（方法论）

{Please refer to Appendix A in the online Supplemental Material.}有朋友知道这个在哪儿吗？知道的朋友在评论说一下，我没找到

FUNDAMENTALS（基础知识）

超图定义：

超图可以有一个有序对 $H=(V,E)$ 表示(CSDN的公式编辑器如同狗屎，这里我用E替代了文章中的 $\varepsilon$ ，CSDN里 $\varepsilon$ 太难看了)，其中，V是顶点集合，E是超边集合。而每个超边是一个由顶点构成的非空集合。

超图通常可以由关联矩阵（incidence matrix） $H=\left \{0,1 \right \}^{|V|\times |E|}$ , $H(v,e)$ 表示顶点v是否在超边e中，在的话等于1否则等于0。

以上是本文中用到一些符号的意思，不看也行，到时候我还是会解释一下的， $\varepsilon$ 被我换成E了

阶数（degree）的定义

顶点 v 的阶数和超键 e 的阶数定义如下

$D_v$ 和 $D_e$ 分别是相对应的对角矩阵，当所有的超边都有一个相同的阶数k时，这个超图是k-uniform图，k-Uniform 超图也有张量表示法。与经典网络一样，节点和超边可能不止一种类型；在这种情况下，超图是异构的

对于超图H的对偶 $H*$ 是通过交换节点和超边的角色来构建的超图， $H* =(V*,E*)$ ,其中 $V*\equiv \left \{ i|e_i\in E \right \}$ ， $E*\equiv \left \{\left \{ i|v_i \in e_i\in E \right \},v_i \in V\right \}$ 。

附带权重的超图可以用一个三元组 $H(V,E,W)$ 表示,对于每个超边e都有一个权重函数w(e)来表示其重要性， $W \in R^{E*E}$ 是表示超边权值的对角矩阵 $diag(W) = [w(e1),w(e2),...,w(e |E|)].$

在一个加权超图中，顶点v的阶数定义为 $deg(v)=\sum_{e \in E}^{} w(e)H(v,e)$ ，一个没有权重的超图可以看成是 $W=I_n$ 这种特殊的加权超图。

Hypergraph-to-graph Transformations超图到标准图的变化

在实际应用中，超图通常被转换成相应的标准图形式表示。尽管这种转换为了计算方便和易于处理（标准图比超图高阶结构方便处理），但这种过程可能会带来信息丢失或引入冗余的顶点/边。超图到图的典型转换依赖于它的两段图、关联图或线形图表示

两段图：

超图H的两段图可以用 $\left [ H \right ]_2$ 表示，它的顶点是H的顶点，当且仅当两个不同的顶点在H的同一超边上时，它们构成一条边。换句话说，H的每个超边在 $\left [ H \right ]_2$ 中是为一个完全子图。使用这种转换的主要缺点是，簇图（clique graph 两段图的别名）完全失去了组的概念，因为成对连接替代了每个高阶交互，因此，这种转换很有可能实现原始超图中不存在的交互。不同的超图可以在同一个簇图中转换，因此我们无法从其簇图中唯一地重建原始超图。此外，由于每个大小为 k 的超边都会转化为 $k*(k-1)/2$ 条边，因此簇图可能会产生计算问题

关联图：

H 的关联图或星形展开图（star expansion）是二分图，可用 $I(H)=(V,E,E')$ 表示，其中，当且仅当 v∈e 时，v∈V 和 e∈E 相互连接， $E'\equiv \left \{(v,e) | v \in e\right \}$ 。

关联图（二分图）有效地描述了群体的相互作用，在这个模型中，一个顶点集对应于超图的顶点，另一个对应于超边，因此，该图中的链接将一个顶点与它所参与的任意顺序的互动连接起来。然而，这种结构本身也存在一个严重缺陷Vertices in the original system do not interact directly anymore as the interaction layer always mediates their relationship. This interaction structure implies that any measure or dynamic process defined on the bipartite representation must consider this additional complexity【这里应该是说在关联图里，原始超图顶点之间的关系没有显示出来，因为只关注它们跟超边的关系，而这会导致如果需要顶点之间的关系，会需要另外的操作，导致额外的复杂性】

线段图（Line graph）：

H的线段图可用 $L=(V',E')$ ，其中 $V'\equiv E$ ${i, j}\in E',i\neq j\Leftrightarrow e_i\cap e_j\neq \phi$ ，从本质上讲，每个超边都会转化为一个节点，如果原始超图中相应的超边相交，则会在两个节点之间添加一条边。与簇图的情况一样，不同的超图可能具有完全相同的线图，因为它们失去了每个超边的组成信息，只存储两个超边是否相交，而不存储以何种方式相交。此外，稀疏的超图也会产生相对密集的线图，因为超图中一个度数为 d 的顶点会在其线图中产生 $\binom{d}{2}$ 条边。

超图表示学习问题：

首先正式介绍超图表示学习问题，然后详细介绍输入和输出方面的问题设置。最后，它将讨论学习超图的潜在表示所面临的内在挑战。

Problem Formulation问题的界定

超图嵌入定义：

对于给定的超图 $H=(V,E)$ ，其中 V 是节点集，E 是超边集，超图嵌入是一个映射函数 $\Phi : V \rightarrow R^{|V| \times d}$ ,其中 $d\ll |V|$ ， $\Phi$ 定义了每个节点 v∈V 的潜在表示（又称嵌入），它捕捉了 E 中的某些网络拓扑信息。

也就是说，给定一个超图 $H(V,E)$ 和预定义的嵌入维度 d, $d\ll |V|$ .超图表示学习（又称超图嵌入）的问题是将 H 映射到一个 d 维向量空间（又称潜在空间），在该空间中尽可能保留H的结构属性.当节点/超边附带特征时，学习到的潜在表征也应编码这些附加信息。根据这一定义，每个超图可以表示为一个 d 维向量（表示整个超图）或一组 d 维向量，每个向量表示超图的部分嵌入，如节点、超边或子结构。

Problem setting问题设计

从问题设置的角度对现有的超图表示学习文献进行比较，描述不同类型的输入/输出以及每种设置的具体特点。

Input Setting：

从六个方面对超图嵌入输入进行了分析：高阶关系的性质the nature of the high-order relation、方向性directionality和大小size、时间维度 temporal dimension、节点是否附加了额外信息weather nodes have attached additional information，以及超图是否被转换为图形whether the hypergraph is converted into a graph。补充材料中的图 3 显示了不同类型的超图，图 4 则概述了输入设置【我没看到图4】

Nature of the relation（高阶关系的性质）：

与图形一样，超图可以编码一种或多种类型的节点间关系。同样，超边也可以表示一种或多种可能的互动关系。

同构超图(Homogeneous hypergraphs.)：同构超图代表了最平常的输入环境、因为节点和超边都属于单一类型。在这种情况下，每个超边给定的节点子集具有共同的属性或特征。同构超图已被广泛用于为推荐系统、用于链接预测任务的引用网络以及用于分类问题的其他关系数据建模 例子：在文献中，也可以找到建立在非关系数据[54]上的同构超图，例如，超边表示基于特征空间中距离概念的顶点连接，这样的结构通常是抽象的，可能是用于对象分类、交通或客流预测以及天然气或出租车需求的多模式特征。

同构超图通常在加权版本中使用，通过超边权重来传达有关关系重要性的信息，这么做的理由是权重应促使算法更准确地学习更重要的超边内节点的嵌入【the weights should drive the algorithm to be more accurate in learning the embedding of nodes within more important hyperedges.】。学习同构超图的向量表示时，最大的挑战在于如何在潜在空间中只有结构信息可用的情况下保留其连接模式。通常情况下，定义在此类结构上的嵌入方法更具通用性，无需任何特殊调整即可重复使用，因为它们所定义的任务并无特殊限制。

异构超图（Heterogeneous hypergraphs）：超图通过不同类型的节点或多种类型的节点和超通道来捕捉底层超网络的异质性。第一种情况：所有的超边在语义上都表示不同实体间的同类交互作用，大多数异构超图都属于这一类，通常用于模拟用户、项目和特定领域属性或操作之间的关系，以便进行排名/推荐、链接预测或分类等任务。具有异构节点和超边的超图进一步增加了表达能力，因为关系可以有多种类型，在这种情况下，超边可以代表不同类型的事件：文档、标签和注释关系；用户、歌曲和标签交互；社交媒体上的行为；甚至化学/机械过程中的组件。

在处理异构超图嵌入时，有两大挑战。第一个挑战涉及如何有效地编码不同类型的节点和关系，以保持结构和语义属性。第二个问题是不同类型的对象可能存在不平衡问题。此外，异构超图越复杂，表示学习方法就越具体。这种情况往往会导致嵌入算法与应用任务严格相关，难以推广。

Directionality of the relation（关系的方向性）：

这一特征指的是底层超网络中（组）节点之间是否存在直接交互。衍生出无向超图和有向超图。

无向超图Undirected hypergraphs：无向超图代表了超图表示学习任务中的典型输入设置。在这种情况下，不考虑节点或超图之间的依赖关系

有向超图Directed hypergraphs：与图相反，有向超图没有标准定义，方向概念既可应用于超边（即节点集）之间，也可应用于同一超边内的节点之间【Yadati et al. [172] and Gao et al. [53] follow the first interpretation, proposing an embedding algorithm working on directed hypergraphs based on the definition of Gallo et al】一种有向超图嵌入算法例子，更多样例查看原文。无论使用哪种方向性定义，学习有向超图的潜在表示时，最关键的挑战是如何结合层次结构和可达性，以保持嵌入空间中的非对称传递性

Size of the relation关系的大小：

这一属性指的是每个超边的基数【cardinality】，与超图所模拟关系的性质密切相关。超边可以表示数量固定或不受限制的节点之间的相互作用

k-uniform:在 k-均匀超图中，每个超边的基数为 k，通常模拟 k 个节点之间可能存在的 k 种不同类型的相互作用。换句话说，每个超边代表了异质实体之间不可分解的关系，当一个或多个组成部分消失时，这种关系也就不复存在了。k-uniform 超图在如何对感兴趣的领域进行建模方面引入了更多限制，但同时也简化了超边相关任务的定义，如链接预测（后面细说）

No-uniform：在非均匀超图中，每个超边编码任意数量的同构或异构节点之间的关系。与k-均匀超图相反，即使从网络中删除了一个或多个节点，超边也可以继续存在。使用：异构非均匀超图被用于建模事件数据，或者像前面的例子一样，用于用户、项目和领域特定属性之间的交互。同构非均匀超图已经被用来表示关系和非关系数据、引文网络和几个用户-项目关系的相似性或共享属性。由于它们的灵活性，非均匀超图代表了最常见的输入设置;然而，与k-均匀超图相反，它们给超边相关的任务带来了进一步的复杂性

Temporal dimension（时间维度）：

通过这个结构，超图可以捕获底层超网络的静态视图或动态视图

Static：静态超图代表了这个研究领域早期最常见的输入设置。静态超图既可以对固定时刻的现有连接建模，也可以对随着时间的推移聚合成单个静态快照的节点交互进行建模

Dynamic：真实的(超)网络通常以动态行为为特征，这意味着节点和(超)边都可以从系统中添加或删除，或者标签和其他属性可以随时间变化。动态超图通常由一系列静态超图表示。公式表示如下： $H=<H(t_0),....H(t_{T-1})>$ ，其中 $H(t_{k})=(V(t_k),E(t_k))$ 是时间戳在 $t_k$ 上的静态超图，k ∈ {0,...,T − 1}, T是快照的数量， $V(t_k)$ 是该时间戳上的点集，而 $E(t_k)$ 是时间跨度 $t_k$ ~ $t_{k+1}$ 上的所有边组成的超边集合。在推荐任务中，在用户信任关系中用于谣言检测，或用于时间序列预测，时间超图已被用于模拟用户随时间的偏好。开发一种嵌入动态超图的方法意味着要处理在时间组件发挥作用时出现的一系列挑战。这些方法应该考虑(1)如何对时域(离散时间或连续时间)建模，(2)必须嵌入哪些动态行为，以及(3)哪些时间粒度将在向量空间中表示

Node features（节点特征）：

该类别指的是附加语义信息是否与作为嵌入过程的输入的节点相关联。

Not attributed.（未属性化）节点通过其连接模式仅传递结构信息。

Attributed（属性化）除了结构模式外，节点还可以携带关于其性质的附加信息，这些信息以特征向量的形式存在，这些特征向量可以编码与用户相关的信息或项目特征等信息

虽然额外属性的存在可以提高预期任务的性能，但这种辅助信息对于嵌入来说可能并不微不足道，特别是如果它不是矢量形式。

Transformation to graphs(图转换)：

处理超图的高阶性质的最常见方法是将由超边编码的单个关系分解为一组相互作用的成对关系。超图可以转换为簇图、关联图或线段图。

clique graph：将超图转换为相应的簇图意味着在给定的超边中实例化每对节点之间的直接交互，簇图变换被大多数基于消息传递框架的超图卷积方法隐式地使用，如第5.3节中详细描述的。

incidence graph：在关联图中，超边被表示为节点，并且超边中的节点的高阶关系由这些特殊节点经由成对链接来介导。从计算的角度来看，关联图允许信息从节点流向超边，然后返回。因此，基于两阶段更新过程的消息传递技术隐式地使用了这种图转换

line graph：线段图捕捉超图的边之间的关系。这种表示已被用于保持由超边编码的高阶关系的不可分解性，Xia等人设计了一个依赖于加权线图的隐式变换的超图卷积网络。还将超图变换引入到线图中，以减轻推荐任务中的稀疏性问题

Other transformations：以上三种形式的修改化，并用作隐式正则化器

Output Setting：

超图嵌入技术的输出是表示超图（部分）的（一组）低维向量。嵌入输出是严格任务驱动的，找到最合适的嵌入类型对于满足特定应用的需求至关重要。最常见的嵌入输出是节点嵌入，而只有少数方法提出了超边嵌入。目前，没有方法处理整个超图或超图子结构嵌入（更多细节见第7节）。值得澄清的是，在特定的嵌入输出设置和所处理的任务之间不存在一一对应关系，因为节点（或超边）嵌入可以用于评估超边（或节点）相关的任务。

Node embedding（节点嵌入）

节点嵌入将每个节点表示为低维空间中的一个向量。其基本思想是学习在原始超图中接近的节点的相似潜在表示。在实践中，这种接近度的概念通常指包含在同一超边中的节点。当节点附加有特征时，在嵌入过程中同时考虑结构和语义接近度。作为最常见的嵌入输出设置，节点嵌入已被用于各种各样的下游超图分析任务

Hyperedge embedding（超边嵌入）

超边嵌入方法学习超边的低维向量表示。与每个边缘编码成对关系的图相反，在这种情况下，超边嵌入向量需要捕获任意数量的节点之间的交互。最常见的方法是组合特定超边内节点的嵌入向量，比如平均，加和或者通过深度神经网络聚合更复杂的函数等操作。

目前的挑战Challenges of Hypergraph Representation Learning

由于超图是图的推广，所以从图表示学习问题那里直接继承了以下挑战：第一，难以找到最合适的嵌入维度数，较低的维度更节省资源，并且还可能有助于降低原始网络中的噪声，但是可能丢失关键的信息，高维度能保存更多信息，但是计算时间和存储需求也更高。因此，具体维度取决于输入超图以及应用领域。第二，选择哪些超图属性进行嵌入合适。超图属性可以通过节点特征、链接结构或元数据信息来反映，这个也要根据应用领域进行分析，这些选择涉及保留可能附加到网络元件的结构和丰富内容。第三，数据稀疏问题，数据稀疏问题可能会破坏网络的结构和附加信息，可能导致在发现不直接连接的顶点之间的结构级相关性和语义相似性方面的额外困难，如果网络异构，那超图表示学习任务更加困难。

除了上述三个挑战，超图表示学习任务的核心问题是如何有效地融合异构信息，将不同类型的实体和关系编码到潜在空间中，以便保留结构和语义属性。捕捉这种网络的内在组织可能需要在嵌入过程中包括应用领域的先验知识，这种考虑导致嵌入技术严格依赖于应用程序，难以在其他环境中推广和重用。尽管如此，嵌入超图强制解决了源自这些结构的高阶性质的另外两个问题

Capturing group relations

超图模拟实体之间的多对多关系。但是，一些节点的超边连接只是因为它们共享一个共同的属性，并不一定意味着它们之间直接相互作用。（比如说所有出现在同一幕的电影角色，它们可以在同一超边上，却不一定相互之间有关）超图表示学习的一个关键挑战在于在嵌入过程中捕获这种高阶关系。能够抽象这种关系的数学工具是实现这一目标的基础。

Task definition

任务的定义需要适应特定的应用环境。超图的关键特征是每个超边包含一个可能连接两个以上节点的关系。这种结构特征意味着所有在关系上定义的任务(即在图的边上形式化的任务)，如链路预测或网络重建，都需要一般化。在处理超图时，这个问题基于底层超网络的性质具有不同的含义。异构超图和k均匀超图通常在具有不同类型的特定实体组之间建模固定大小的关系。在非均匀超图的情况下，问题变得更难：由于对要预测的超边的大小没有(先验的)约束(因此，随着不同超边的数量呈指数增长(因为它对应于一个集合的所有可能子集的数量)，计算复杂度急剧增加。

从超图的结构性质得到的另一个直接结果是，这些结构也可以用来研究集合上的问题(超边是节点的子集)

超边学习方法HYPERGRAPH REPRESENTATION LEARNING METHODS

将超图嵌入到一个低维空间中，同时尽可能保留原有的超图网络属性。我们将超图嵌入技术分为三大类：光谱学习方法、邻近保留方法和基于(深度)神经网络的方法。这三个方法之间的主要区别在于处理表征学习问题的方式。

光谱学习是超图表示学习的先驱。基本上，该学习方法根据超图的拉普拉斯矩阵的分解(因此，术语“spectral”)来定义超图表示学习问题，这种分解(也称为因式分解)的输出是(顶点)嵌入矩阵，其中嵌入向量的拓扑邻近性由因式分解的性质来确保。

邻近保持依赖于一种更灵活的解决问题的方法：嵌入空间中的顶点接近度根据相似性函数来测量（比如余弦相似度）并且通过优化目标函数来学习这种嵌入，该目标函数被定义为保持拓扑邻近性(即，接近的顶点应该是相似的)以及与给定任务相关的其他因素和约束。整体方法的模块性(即相似性函数→目标函数→优化)让它灵活性很高，适应各种任务。

基于神经网络的超图嵌入是目前主流的方法这一成功归功于深度神经网络(DNNs)众所周知的优势，如自动特征学习、可扩展性和泛化等。类似于图的DNN，超图卷积发挥了重要作用，它允许完善的神经模型在任意结构的超图上工作。

Spectral Representation Learning Methods光谱学习方法.

Motivation：这种方法旨在学习顶点的低维潜在表示，使得“相似”顶点在学习的过程中彼此接近

Overview概述：

设 $H=\left ( V,E,W \right )$ 是一个带权重的超图，设 $X\in R^{n\times d}$ 是一个矩阵，每行的 $x_i \in R^d$ ,i∈n，是要学习的顶点v的潜在表示。理想情况下，学习顶点的表示应该编码超图的结构信息，因此，相似的顶点应该被映射到潜在空间中的附近点上。如果只考虑结构信息，那么两个点的相似度可以表示为公共关联超边的（归一化）权值之和。

定义一个优化问题，其目标是最小化共享相同超边的节点之间的加权欧氏距离

约束条件为

Structural-only Spectral Embedding：仅结构的光谱嵌入

超图拉普拉斯算子在损失函数的定义中起着关键作用，这些方法之间的主要区别在于如何定义超图拉普拉斯算子。

定义了一个统一的框架来学习最优d维嵌入X

其中，L就是超图拉普拉斯算子，Z是归一化矩阵，S是节点相似度矩阵。根据定义，L是半正定的

Spectral Embedding for Nodes with Additional Features：带附加信息的光谱嵌入

其中X是要学习的投影矩阵，与上面的式子不同，这里需要学习线性变换而不是嵌入

Proximity-preserving Methods邻近保持算法

Motivation：目的是设计一个合适的相似度函数，能够捕捉超图所传达的各种结构和语义信息，基于一阶或二阶邻近度信息，可以自然地计算图的相似度。前者根据两个节点之间的链接的权重来判断两个节点的相似程度，后者则比较节点邻域结构的相似性

Methods：邻近度保持算法和光谱嵌入算法都有保持节点拓扑接近度的思想，但是处理问题的方法却有很大的不同。PP技术的理论基础较少，但是方法更加灵活，易于适应的特定任务，因此也不可能提供一个足够普遍的单一合理框架来涵盖属于这一类别的所有方法，以下是大多数PP方法的共识。

点积函数的相似性（Similarity as a function of the dot-product）：在欧几里得潜在空间的情况下，通常使用点积来测量两个向量的接近度（imity/closeness）为超图设计的PP方法通常旨在通过点积（HEBE(-PO/PE) FOBE，HOBE）或其变体之一（如余弦相似性（(Lbsn2Vec, Lbsn2Vec++ , MSC-LBSN）联合优化超边中节点的元组式或者N式（tuple-wise (or n-wise)）接近度。

负采样（Negative sampling）：优化相关节点的相似性都会带来过拟合的风险，通过最大化关联节点的距离来考虑负超边，考虑到不存在的超边数量的组合爆炸，负采样代表了解决这个问题的最常用技术。

目标函数（Objective function）：目标函数在所有PP方法中呈现相似的结构。

1、对于拓扑上或语义上彼此接近的节点，最大化节点嵌入的相似性;

2、最小化负样本的节点嵌入的相似性;（如果有的话）

3、最大化可以嵌入到等式（1）中的目标中的任务特定子目标。

无正则化（No regularization）：多数PP方法都没有对学习的嵌入进行任何形式的正则化

每种PP技术都以优化目标为特征，通常通过随机梯度下降进行优化，这会影响节点/超边嵌入的学习方式。优化标准可以采取不同的形式，如相似性最大化，均方误差，Kullback-Leibler发散或贝叶斯个性化排名。显然，损失函数考虑了要解决的任务的特征。

PP方法的不同之处在于它们如何传递由超边传达的高阶关系以及它们是否显式地学习超边本身的表示。几乎所有的PP方法都通过成对计算余弦相似度来最大化同一超边内节点的嵌入相似度或两个嵌入向量之间的点积，HGE例外，HGE将两个向量之间的标准点积运算推广到无限数量的向量，以计算超边中节点的相似性得分（从代数角度有意义，而没有几何解释）除了Event2vec之外，所有PP方法都只考虑一阶接近度

邻近度保持方法共享相同的总体设计：【目前，没有PP方法定义在有向或动态超图上】

（1）作为嵌入函数的相似性度量的定义

（2）优化以保持节点邻近度和可能的特定任务目标的标准。

优点是足够通用，可以通过专门设计的优化轻松适应特殊任务目标。这种基本结构还允许自然地处理异构、非均匀和有向超图。缺点是除了单一的结构信息之外，它们缺乏对结构超图信息的捕获。此外，由于相似性通常被定义为点积的函数，因此这些方法可能无法对节点/超边之间的潜在非线性关系进行建模

(Deep) Neural Network Models深度神经网络

Motivation：超图神经网络（HNN）源于图神经网络（GNN），它目前体现了图表示学习的最先进技术

Methods：HNN 框架需要将节点特征(通常排列成特征矩阵 X)作为模型的输入。当节点特征不可用时，可以使用（参数）编码（例如one-hot 编码或临时初始化）。然后，将这种初始表示馈送到神经网络，该网络以端到端方式或两步过程【end-to-end fashion or in a two-step procedure】学习节点（超边/超图）表示。前一种情况下，学习过程是由特定任务引导的；因此，嵌入被优化（根据损失函数）以更好地解决手头的问题。在后一种情况下，嵌入以无监督的方式或通过解决假任务来学习，然后将此类嵌入输入到另一个模型（可能不是神经网络的分类器）来解决任务。

超图卷积网络：图卷积网络是迄今为止最流行的学习图嵌入的技术。（超）图上的卷积运算符将卷积运算从网格数据推广到图形数据，并且可以使用（超）图信号处理理论作为欧几里德卷积到非欧几里德数据的推广。（超）图卷积通常根据卷积算子的定义分为空间卷积和谱卷积【spatial and spectral】。谱卷积利用傅立叶变换将图信号变换到谱域，在谱域中进行卷积运算;空间卷积从空间域的角度聚合节点特征

图卷积是更通用、更便于阅读的消息传递框架（MPF）的一种特殊情况，其基本直观性非常明显。给定一个初始超图表示（例如节点特征矩阵 $X^{(0)}$ ），MPF 根据以下过程迭代更新：在每次迭代中，每个节点都会汇总来自其本地邻域的信息，随着迭代的进行，每个节点的嵌入都会包含来自超图更远处的越来越多的信息，因此，节点嵌入编码包含两方面的知识：结构信息和基于特征的信息，这两种信息都来自于根据超图结构迭代收集的邻居的信息，每个信息传递步骤都表示为（深度）超图卷积神经网络（convHNN）的一层，它可以作为下一层的输入。

在超图上，信息在节点上的传播应该考虑更丰富的关系，以通过两阶段（也称为两级或两步）更新/聚合过程来实现

$x_e^{(l)},x_v^{(l)}$ 分别是 $l$ 层上超边与节点的潜在信息， $f$ 分别是两个（非线性）参数置换不变聚集函数， V->E的是节点到超边聚合函数，另一个是超边到节点聚合函数。 $\Theta$ 是可学习的卷积参数。对于标准的神经网络，参数是通过优化为给定任务专门设计的目标函数来学习的，优化是使用反向传播和基于梯度下降的算法进行的，如随机梯度下降（SGD）和Adam。

[B. Srinivasan, D. Zheng, and G. Karypis. 2021. Learning over families of sets - Hypergraph representation learning for higher order tasks. In Proc. of the 2021 SIAM Int. Conf. on Data Mining]提出了一种略有不同的两阶段MPF，其中节点和超边同时更新（在上面的公式中，更新是按先边后点顺序的），并且聚合函数还考虑了二阶邻居的嵌入。

大多数超图卷积神经网络通常采用超图的（加权）簇（clique）扩展（HGNN）首次引入的单级MPF（如图）。在这种情况下，第t个（单级）超图卷积层可以定义为

$R \in R^{n \times n}$ 是论文【D. Grattarola. 2021. Graph Neural Networks Operators and Architectures. Ph. D. Dissertation. Faculty of Informatics of the Università della Svizzera Italiana】中提到的参考算子（reference operator）通常被实例化为邻接矩阵的“代理”。σ是非线性激活函数， $\Theta$ 是可学习的卷积参数。尽管MPF允许跨邻居发送不同的消息，但是这个公式假设卷积层中的每个节点向其邻居发送消息全是相同的，同时在节点更新的过程中不会学习超边嵌入，对于超边嵌入，可以通过对偶变换和应用MPF（EHGNN）来学习。

卷积设计因素（即参考算子reference operator、跳过连接skipconnections、注意力机制attention mechanism、门控更新gated update和谱卷积spectral convolution），这些因素会影响学习过程中信息的传播和聚合方式,可以在同一网络架构中耦合在一起

Reference operato：在上一个公式中，R描述了嵌入是怎么聚合的，在最简单的形式中，R 正是超图簇展开的邻接矩阵，定义为 $HH^T-D_v$ , 在这种情况下，聚合函数是邻居节点表示的总和。由于未归一化的邻接矩阵可能会阻碍优化过程，特征值可能在深度网络上无限增加，所以对于邻接矩阵通常会被归一化。如果邻接矩阵被行归一化： $R_{row}=D_v^{-1}HD_e^{-1}WH^T$ (HCHA、HHGR、GC-HGNN、IHGNN)。如果邻接矩阵被对称归一化： $R_{sym}=D_v^{-\frac{1}{2}}HD_e^{-1}WH^TD_v^{-\frac{1}{2}}$ (HGNN, GC-HGNN, DH-HGCN，HyperCTR，DualHGNN.....) 行归一化不考虑邻居节点的连接性，也就是说各节点权重一样，因此一般选择对称归一化。在这两种归一化中都有考虑自循环情况（R具有非零对角线的情况），给定节点在第 l 层的表示被变换并包含在第 l + 1 层的表示中（即，跳过连接）。【另外有个Node-level归一化，不太明白咋回事，另外学吧】
Skip-connections：过度平滑是深度（超）图卷积网络的一个众所周知的问题，当消息传递期间从邻居聚合的信息开始主导更新的节点表示时，就会发生过度平滑。使用跳过连接可以减少过渡平滑的问题，跳过连接试图直接保留来自更新中的前一轮消息传递的节点信息。这个概念也可以通过包括所有（或一些）先前的节点表示来推广。超图卷积可以与广义跳过连接集成。可以把之前的公式扩展为其中， $\Phi$ 就是跳过连接参数，如果跳过连接参数是非参数化的并且只涉及最后一层( $\Phi^{l}\equiv I_{d_l}$ 并且 $\Phi^{< l}\equiv 0$ )就被叫做身份映射。而如果参数化，则跳过连接参数可以有不同的卷积参数集或共享相同的参数集，身份映射也可以在聚合消息上执行，而不是在之前的节点表示上执行，如果R中由非零对角线，那么具有共享参数的前一层的跳过连接已经包括在公式中。
Attention mechanism：对每个邻居进行不同的加权，这个就是注意力机制的思想。（超）图注意力是（H）GNN的一种特殊情况，其中发送给邻居的消息不相同。文献提供了不同类型的注意力机制，超图中最流行的是加法注意力和乘法注意力。也可以添加多个注意力“头”，其中每个头在独立参数化的注意力层上计算k个不同的注意力权重，最后，使用k个注意力的聚合消息被线性组合。（这种方法在超图上不太流行），注意力机制还可以帮助组合节点嵌入。最近，由于Transformer架构的成功自注意机制开始出现在convHNN中广泛用于将顺序的节点/超边嵌入组合用于特定任务
Gated updates：在迁移架构出现之前，递归神经网络是处理顺序输入的标准工具，在超图中，顺序输入可以指（1）节点层面，即节点特征随时间变化，或（2）结构层面，即超图拓扑随时间变化。节点性顺序输入，不仅包含其当前的隐藏状态，还包含全新的观察结果。在这种情况下，使用的主要机制：GRUs、HGC-RNN、GNN、GLUs、MT-HGCN、(D)STHGCN。目前还没有相关的超图嵌入技术处理结构性顺序输入问题。
Spectral convolution：谱超图卷积依赖于谱（超）图理论，它是 Feng 等人提出的第一个 convHNN 方法的基础【HGNN】光谱超图卷积背后的主要概念是傅立叶变换和拉普拉斯算子之间的联系。我们可以通过超图拉普拉斯算子的特征分解来定义超图信号的超图傅立叶变换，其中特征值表示超图频率（即超图的频谱），而特征向量表示频率分量（即超图傅立叶基）。然后，通过变换傅立叶空间中的逐点乘积来定义谱域中的卷积（HpLapGCN 、pLapHGNN），可以使用HWNN和HGWNN中的小波基替代傅里叶基，其中超图小波变换将图信号从顶点域投影到谱域上。

Random Walk-based Approaches基于随机漫步的方法

随机漫步（RW）是卷积的一种替代方案，用于对封闭性概念进行编码，RW方法在超图上的一个特性是它很像文本中的句子类似，短语是单词的序列，路径是节点（和超边）的序列，这种相似性可以利用语言学中的分布假说，即在潜在空间中，共享相同结构上下文的节点应彼此靠近

通过这种类比，可以将自然语言处理技术应用于（超）图（这里说的是DeepWalk）。DW分两步：首先，在超网络中行走捕捉结构上下文，然后通过自然语言处理模型学习节点嵌入，通常是Skip gram和CBOW。最后，如此获得的节点表示可以是读出层（Hyper2Vec/NHNE、Hyper gram、DHHE、HEMR）或微调嵌入的另一个神经网络模块（DHE、Hyper-SAGNN）的输入。

上述方法（使用 CBOW）被应用于两段图，但未能学习到超边的表示。为了解决这个问题，作者提出了一种新颖的基于负采样的集合约束目标函数。这里就不介绍了，感兴趣的朋友自己看一下。

Encoder-based Approaches基于编码器的方法

当涉及到学习低维嵌入时，编码器-解码器架构是机器学习中的首选方法。然而，这种类型的体系结构可能无法捕获由类似超图的结构化数据编码的结构信息。出于这个原因，这些网络通常被包括为更大网络的子模块。例如，Hyper-SAGNN使用这种方法来初始化节点表示，而DHNE使用自动编码器来学习节点的第一个潜在表示，然后使用专门设计用于保持二阶接近度的神经网络进行微调。更“复杂”的方法使用变分自动编码器（HeteHG VAE）和DeepSets（DHE）。

HNN(超图神经网络)可以容易地适应于广泛的任务，例如（多类）分类、回归、链接预测和推荐任务。神经网络方法的模块化也简化了不同输入通道的融合，HNN允许通过简单地设计读出层或特定于任务的损失函数来在各种任务上执行迁移学习和重用已建立的架构。HNN的典型学习设置是（半）监督迁移学习。

一般来说，对于（深度）神经网络，神经网络需要大量数据来进行充分训练，并且超参数调整可能代价高昂，HNN的一个缺点就是在比较深的架构上需要很高的算力（GPUs，TPUs），这对适用性有所影响。

在所有的HNN技术中，convHNN由于其优越的性能而在当今的文献中占主导地位,最近，这一趋势似乎正在向专门为HGs设计的卷积方法（例如B. Srinivasan, D. Zheng, and G. Karypis. 2021. Learning over families of sets - Hypergraph representation learning for higher order tasks. In Proc. of the 2021 SIAM Int. Conf. on Data Mining. Siam Society, 756–764.）倾斜，在这些方法中，超边嵌入可被明确学习。就计算要求而言，convHNN通常比基于编码器和基于随机行走的方法要求更高；因此，在计算能力有限的情况下，这种方法应该是优选。此外，由于在学习过程中只能间接利用关系的高阶性质，因此许多卷积方法使用的簇扩展变换可能是一个限制因素。基于随机图的方法的一个重要优势是其通用性，可以（几乎）无缝地应用于任何超图。相反，基于编码器的方法在设计编码器/解码器架构时需要根据任务调整。不过，当随机漫步和编码器方法结合在一起时，还是可以达到最先进的性能，例如Hyper-SAGNN和DHE。

超图表示学习模型的比较 Comparison of Hypergraph Representation Learning Models

基于光谱的嵌入算法由于其可扩展性问题，在现实世界的大规模应用中很少使用。不过，在处理小型数据集时，这些方法不失为一种可行的选择。当想要利用先验领域知识时，近似保留方法的简单设计使其特别适合，这些先验领域知识可以通过设计特定的相似性函数轻松嵌入学习过程中。与频谱方法类似，邻近保留方法在中小型数据集上效果更好。目前，（深度）NN 方法体现了超图表示学习的最新技术水平，绝大多数嵌入方法都属于这一类。这一趋势直接源于这些方法所实现的高质量性能以及进行端到端学习的可能性。此外，MPF 的灵活性允许捕捉每个超图所编码的高阶关系。超图网络比其他系列的 HG 嵌入技术具有更好的扩展性，因此可以应用于大规模数据集。不过，训练特别深的网络可能对硬件有一定要求

学习任务和应用LEARNING TASKS AND APPLICATIONS

超图表示学习具有解决大量图分析任务的功能，因为学习到的潜在表示可以高效执行（在时间和空间上）传统的基于向量的算法

Node-related Learning Tasks and Applications

Node Classification ：

当目标是根据从其他已标记节点学习到的模式，为超图中每个未标记的节点分配正确的标签(监督)时，节点分类是监督任务。应用于

event (HEBE-(PE/PO) Event2Vec,
movie (DHNE, HRSC,DualHGNN),
authorship (e.g., HyperGCN [171], Hyper2Vec/NHNE [74, 75], HWNN [138]),
citation (e.g., DHGNN, HCHA , UNIGNN , LE ),
image (e.g., SSHGDA , AdaHGNN [160],HGWNN),
item (e.g., DualHGCN , AllSet , DualHGCN )
classification(e.g., HOT , EHGNN, DHE

节点分类应用于（半）监督设置时，有两种方法。第一种方法由三步顺序过程组成，

嵌入方法首先学习节点的潜在表示
在标记的实例上训练现有的分类器
训练的分类器在给定其嵌入的情况下预测未标记节点的类。

第二种方法涉及（深度）神经网络。具体来说，任务以端到端的方式解决，其中网络的第一部分显式或隐式学习节点嵌入，而读出层解决特定的分类

Node Clustering：

节点聚类的目标是将相似的节点分组在一起，使同一个集群中的节点比其他组中的节点更相似。节点聚类是无监督学习设置的一个示例，通常在没有节点标签可用于查找节点组之间的关系时应用。流程是：首先学习节点的低维表示，然后对学习到的向量用传统聚类算法。

Node Recommendation：

节点推荐的任务在于基于某些标准为给定节点（例如，用户）找到最感兴趣的节点（例如，项目）。在这种情况下，超图是一种有价值的工具，可用于结构化地编码经典的用户-项目关系之外可能出现的固有高阶关系。

Hyperedge-related Tasks and Applications：

Link Prediction：

在传统图中，链接预测任务涉及根据实体对的属性和当前观察到的链接推断实体对之间的新关系或未知交互。在超图中，超链接预测的问题涉及基于当前观测到的超边集合E来预测集合 $2^{|V|}\setminus E$ 中丢失的超边。当处理k一致超图时，要预测的超边的大小受建模关系的性质的限制.在非均匀超图中，超边的可变基数使得为图定义的链接预测方法不可行，因为它们完全基于两个输入特征，即可能形成链接的两个顶点的输入特征。

为了克服上述困难，所有超链接预测方法都严重依赖于负采样技术，以便在训练和评估阶段摒弃无意义的关系（例如 MSC-LBSN、NHP）。给定超边是基于应该包含在关系中的节点与相对应的嵌入向量的相似性而存在的。相似性可以用一些相似性度量来计算，例如欧几里得距离和余弦相似性（例如，NHNE、LBSN2Vec），或者用更复杂的边分类器来计算，如逻辑回归。在最后一种情况下，链路预测任务被视为分类问题，其中目标类别标签指示一对节点（例如，g-MPNN、HNN、DualHGCN）之间存在或不存在链路。

Network Reconstruction：

网络重构任务可视为链接预测的一种特殊情况，需要推断出原始超网络的所有超边

Other Applications

Time-series Forecasting：

时间序列预测是回归问题的一个子类，具体来说，它是将模型拟合到带有时间戳的历史数据中以预测未来值的任务，例如交通预测（MT-HGCN，DHAT）、客流预测（STHGCN）、天然气和出租车需求（HGC-RNN）以及股票选择（STHAN-SR）。在这些应用中，k均匀超图和非均匀超图对时空信息进行建模。

Visualization：

将超图表示学习算法的结果可视化，可有力证明所设计的嵌入方法是否保留了输入网络的预期特征。学习低维潜在向量后，通常通过 t-SNE 将其进一步投射到二维空间中，t-SNE是高维数据可视化的最先进工具。另一种常见的基于频谱的方法是根据拉普拉斯矩阵的两个或三个最小特征向量绘制每个节点的表示图，在节点分类或在可能的情况下进行聚类任务时，每个节点类别的颜色都不同。

Knowledge Hypergraphs：

说到知识库（KB）建模，图是最常用的方法，因为图可以自然地表示知识库中的三元关系，对于 n-ary 关系，超图是一种有效的方法。但是，知识超图嵌入技术与任务（通常是预测事实）密切相关，因此很难将这些方法移植到不同的环境中。

Natural Sciences：

超图表示学习任务已被用于预测化学-机械过程中的材料去除率、多向色度相互作用、基因组特征和药物-疾病关联。

未来发展：简单提一下

Deep hypergraph representation learning：未来的真正挑战是开发专门为超图设计的神经模型，以利用超图的特殊性。例如，大多数 convHNN 方法都是用一个簇来近似超边，因此失去了关系的不可分解性。一个可能的方向是努力实现 MP 功能，通过直接利用高阶交互而不是成对连接来聚合邻居的表征
Beyond node embeddings：现有的大多数方法都只涉及节点嵌入，需要开发能够学习整个超图或子结构表示的解决方案
Dynamic hypergraph embedding.：动态性是许多网络的基本特征，既可以表现为时变特征，也可以表现为结构性互动模式。当前关于动态超图嵌入的工作假设了一个转导设置，具有一个固定的节点集和一个可变的超边集或节点特征集。预测新添加的节点的表示是一个难题，由于归纳框架的存在，如何增量更新现有的节点表示，并适应图结构的概念漂移是主要挑战。一个很有前途的方向可能是学习通过聚合节点邻域的特征而不是训练单个节点嵌入来生成嵌入的函数。
Interpretability：大多数最先进的超图嵌入方法都是使用卷积构建的，通常是在分层架构中。这种模型的复杂性使它们具有足够的表达能力，可以提取出一个良好的浓缩超图表示。然而，这些模型的高度非线性性质损害了它们的可解释性。一般来说，为了解释嵌入，我们需要找到潜在特征和原始超图特征之间的关联。一个可能的方向是探索所谓的解纠缠表示【disentangled representations】
Scalability：适用性扩展。超图的复杂性很高，因为不仅节点和超边的数量可以扩展到数百万，而且相同的超边基数可能是巨大的。目前，很少有工作来提高超图算法的可扩展性，超图粗化或分区策略与并行方法相结合可能是一种有效的方法。
Reproducibility：如何直接测量数据表示的质量是表示学习中长期存在的问题。目前，学习表示的质量是通过间接执行给定的一组相关任务来衡量的。但是，目前在数据和方法方面没有标准的基准。应该努力定义一个通用框架，描述给定任务的预期编码网络结构，我们期望模型如何编码这些信息，以及对学习表示的可能约束，以澄清在现实世界应用中应该使用哪种方法

CONCLUSION

三个超图嵌入的方法：光谱嵌入，邻近保持、神经网络超图嵌入。其中，神经网络方法是目前的主流方法。

目前超图学习的一个挑战是没有公认的定义可供参考，还不成熟

umbrellazg

关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
超图survey个人笔记

近年来，超图吸引了越来越多的关注，这要归功于它们在自然建模中具有灵活性，在这些系统中相互作用的部分之间存在高阶关系。本文研究了新诞生的超图表示学习问题，其目标是学习一个函数来将输入超网的对象(通常是节点)投射到潜在空间中，这样网络的结构和关系属性都可以被编码和保存。这篇文章对现有文献进行了全面的概述，并通过确定三个主要的技术种类（原文families of techniques,不知道是不是啥专有名词），提供了超图嵌入方法的新分类。
复制链接

扫一扫