- 博客(133)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Graph Structure Learning with Variational Information Bottleneck AAAI 22
图结构学习图结构学习（Zhu et al. 2021）旨在联合学习优化的图结构和相应的表示，以提高 GNN 模型的鲁棒性。在这项工作中，我们关注的是面向图级任务的图结构学习。令G∈GG∈G为一个带有标签Y∈YY∈Y的图。给定一个图GXAG = (X, A)GXA，其中包含节点集VVV、节点特征矩阵X∈R∣V∣×dX∈R∣V∣×d和邻接矩阵A∈R∣V∣×∣V∣A∈R∣V∣×∣V∣。
2026-03-06 20:31:22
266
原创 A Survey on Graph Structure Learning: Progress and Opportunities arXiv 21
图被广泛用于描述现实世界中的对象及其交互关系。图神经网络作为分析图结构数据的事实标准模型，对给定图结构的质量高度敏感。因此，噪声或结构不完整的图往往会导致次优的表示学习效果，并阻碍我们充分理解系统背后的运行机制。为了追求适用于下游任务的最优图结构，近期研究围绕图结构学习这一核心主题展开了大量工作，其目标在于联合学习优化的图结构与相应的图表示。在本综述中，我们广泛回顾了图结构学习方法的最新进展。具体而言，我们首先形式化了一个通用的图结构学习流程，并根据图结构建模方式。
2026-03-05 20:59:43
186
原创 Data Augmentation for Graph Neural Networks AAAI 21
数据增强已被广泛用于提升机器学习模型的泛化能力。然而，针对图结构的数据增强研究相对较少，这主要源于图数据的复杂非欧几里得结构限制了可操作的处理方式。计算机视觉和自然语言处理中常用的增强操作难以直接迁移到图数据上。本研究聚焦于通过图神经网络提升半监督节点分类任务中的图数据增强技术，系统探讨了图数据增强的实践与理论动机、关键考量及实现策略。研究表明，神经边预测器能有效编码类同质性结构，从而增强给定图结构中的类内边连接并抑制类间边连接。我们的核心贡献是提出了GAUG图数据增强框架。
2026-03-05 20:14:45
365
原创 LEARNING LANGUAGE-GROUNDED CONCEPTS FOR SELF-EXPLAINABLE GRAPH NEURAL NETWORKS ICLR 2026
摘要我们提出图概念瓶颈（Graph Concept Bottleneck, GCB），作为自解释图神经网络的一种新范式。GCB将图映射到一个概念空间——即概念瓶颈。在此空间中，每个概念都是一个自然语言短语，且模型的预测基于这些概念做出。与现有主要依赖子图作为解释的可解释GNN不同，概念瓶颈提供了一种更易于人类理解的解释形式。为了优化概念空间，我们应用信息瓶颈原则，以鼓励模型关注因果概念，而非虚假关联。这不仅产生了更紧凑、更忠实的解释，还明确地引导模型朝着正确决策的方向思考。我们的实验表明，GCB在实现内在
2026-03-05 17:30:31
259
原创 GRAPH CONCEPT BOTTLENECK MODELS arXiv 25
挑战创新点方法效果摘要概念瓶颈模型（Concept Bottleneck Models, CBMs）通过概念为深度神经网络提供了明确的解释，并允许通过干预概念来调整最终预测。现有的CBMs假设概念在给定标签的条件下是独立的，且彼此之间相互孤立，忽略了概念间隐藏的关系。然而，CBM中的概念集通常具有内在的结构，其中概念普遍存在相关性：改变一个概念将固有地影响其相关的概念。为缓解这一局限，我们提出了图概念瓶颈模型（Graph CBMs）：一种CBM的新变体，它通过构建潜在的概念图来促进概念间的关系，该模型可与C
2026-03-05 15:20:19
362
原创 Relational Concept Bottleneck Models (NeurIPS 2024)
在关系型领域设计可解释的深度学习模型是一个开放的挑战：可解释的深度学习方法，例如概念瓶颈模型（CBMs），并非为解决关系型问题而设计；而关系型深度学习模型，例如图神经网络（GNNs），又不如 CBMs 那样具有可解释性。为了克服这些限制，我们提出了。
2026-03-05 11:44:47
405
原创 Algorithmic Concept-Based Explainable Reasoning AAAI 22
这些任务的训练数据图大小固定为20，我们测试的图大小为20、50和100个节点。该算法的架构遵循图1的主要思想，为了实现它们，我们将前两步的Yan et al. (2020) 架构和第三步的Velickoviˇc et al. (2020a) 架构结合起来。我们直接扩展了Velickoviˇc et al. (2020a,b) 的工作，因此我们使用这些工作中提出的模型作为基线。我们在图2中展示了并行图着色的每个概念的学习曲线，在图3中展示了Kruskal算法的每个概念的学习曲线：(i) 并行图着色在。
2026-03-05 10:16:06
339
原创 Concept Bottleneck Models （PMLR 2020）
相比之下，先前关于用高层概念解释端到端模型的工作，仅限于对已训练好的端到端模型进行事后解释：例如，从隐藏层预测概念（Kim et al., 2018）或测量单个神经元与概念的相关性（Bau et al., 2017）。最近，带有概念瓶颈的深度神经网络作为解决特定任务的针对性工具重新出现，例如，Fauw et al. (2018) 用于视网膜疾病诊断，Yi et al. (2018) 用于视觉问答，以及 Bucher et al. (2018) 用于基于内容的图像检索。因此，从历史上看，瓶颈模型在。
2026-03-04 19:57:21
356
原创 A Comprehensive Survey of Dynamic Graph Neural Networks: Models... (TKDE 2025）
此外，如图16所示，例如，[55] 回顾了动态图的表示学习技术，[105] 探讨了DGNN模型在动态图分析中的应用，[160] 提出了一个基于动态图演化理论的三阶段递归时序学习框架。图神经网络，如 GCN [57]、GraphSAGE [35] 和 GAT [115]，将传统图计算与深度学习技术相结合，在链接预测 [142]、节点分类 [128] 和属性预测 [100] 等任务中取得了成功。另一方面，虽然 [51] 和 [76] 提供了更新的视角，但前者仅关注时空图，后者仅考察了有限范围的DGNN模型。
2025-11-30 11:24:04
950
原创 Recent Advances of Differential Privacy in Centralized Deep Learning: A Systematic Survey 2025
差分隐私（Differential Privacy, DP）已成为机器学习中最为流行的数据保护方法之一，特别是因为它能够提供严格的数学隐私保证。本综述对集中式差分隐私深度学习（DP-DL）的最新研究现状进行了全面概述，深入分析了近年来的重要进展与尚未解决的问题，并讨论了该领域潜在的未来发展方向。新兴应用领域；差分隐私生成模型；私有模型的审计与评估方法；抵御更广泛威胁与攻击的防护手段；隐私-效用权衡的改进方法。CCS 概念安全与隐私 → 隐私保护计算方法论 → 机器学习关键词。
2025-09-29 21:19:46
1170
原创 为什么在二元域，OLH、OUE 和 HR 都等同于 Warner 的 RR？
在二元域（k=2）这个最简单的场景下，任何设计精巧、满足对称性的LDP机制，最终都将回归到问题的本源，其数学形式必然与华纳的随机响应（Warner’s RR）一致。OLH、OUE、HR这些算法的复杂性都是为了解决k≫2k \gg 2k≫2带来的挑战。当这个挑战消失时，它们的“屠龙之技”也就无处施展，纷纷“返璞归真”，回到了最经典、最基础的RR模型。
2025-09-24 10:25:11
742
原创 The Algorithmic Foundations of Differential Privacy - 4
在私有数据分析中，最基本的原语之一就是能够回答数据集上的数值型查询。在上一节中，我们开始看到一些工具，它们允许我们通过向查询答案中添加独立采样的噪声来实现这一点。在本节中，我们继续研究这个问题，并将看到：通过添加经过精心设计的相关噪声，我们可以在保证隐私的同时，以更高的精度回答数量极其庞大的查询。这里，我们将介绍两种解决该问题的具体机制，并在下一节中对它们进行推广。在本节中，我们考虑的是：设计算法以比单纯使用拉普拉斯机制组合得到更高的准确度来解决查询发布问题。这种改进成为可能，是因为整个查询集被整体
2025-09-05 21:26:50
931
原创 Recent Advances of Differential Privacy in Centralized Deep Learning: A Systematic Survey 2025
差分隐私已成为机器学习中广受欢迎的数据保护方法，尤其是因为它能够提供严格的数学隐私保证。本文综述了集中式差分隐私深度学习的最新研究进展，深入分析了当前成果与开放问题，并讨论了该领域未来可能的发展方向。基于系统的文献综述，本文主要涵盖以下主题：私有模型的审计与评估方法、隐私与效用权衡的改进、针对多种威胁与攻击的防护、差分隐私生成模型，以及新兴的应用领域。引言深度学习是机器学习的前沿方法，被用于解决计算机视觉、自然语言处理等多个领域的复杂任务，并广泛应用于从医疗保健到金融等不同场景。
2025-09-05 21:20:50
636
原创 The Algorithmic Foundations of Differential Privacy - 3(2)
引理 3.18.假设随机变量 YYY 和 ZZZ 满足D∞(Y∥Z)≤ε且D∞(Z∥Y)≤ε.D_\infty(Y\|Z) \leq \varepsilon \quad \text{且} \quad D_\infty(Z\|Y) \leq \varepsilon.D∞(Y∥Z)≤ε且D∞(Z∥Y)≤ε.那么有：D(Y∥Z)≤ε⋅(eε−1).D(Y\|Z) \leq \varepsilon \cdot (e^\varepsilon - 1).D(Y∥Z)≤ε⋅(eε−1).证明.我们知道对于
2025-09-05 20:05:39
755
原创 Beyond Low-frequency Information in Graph Convolutional Networks （AAAI‘ 2021）
核心： 本文构造了两个近似的空间域滤波器：FL=εI+D−1/2AD−1/2=(ε+1)I−LF_L = \varepsilon I + D^{-1/2} A D^{-1/2} \quad = (\varepsilon+1)I - LFL=εI+D−1/2AD−1/2=(ε+1)I−LFH=εI−D−1/2AD−1/2=(ε−1)I+LF_H = \varepsilon I - D^{-1/2} A D^{-1/2} \quad = (\varepsilon-1)I + LFH=εI−D−1/2
2025-09-05 11:45:11
974
原创 Conditional Random Field Enhanced Graph Convolutional Neural Networks （KDD‘19）
本文的核心： 添加CRF在卷积之后，额外加一个“相似性约束”，强制让相似节点的表示靠近。摘要近年来，图卷积神经网络（GCN）受到了越来越多的关注。与标准卷积神经网络不同，图卷积神经网络在图数据上执行卷积操作。与一般的数据相比，图数据包含了不同节点之间的相似性信息，因此，在图卷积神经网络的隐含层中保留这种相似性信息尤为重要。然而，现有研究未能做到这一点。另一方面，要强制隐含层保留节点之间的相似关系也是一项具有挑战性的任务。为了解决这一问题，我们提出了一种新颖的 CRF 层（条件随机场层），用于图卷积神经网络
2025-09-05 11:15:24
927
原创 AM-GCN: Adaptive Multi-channel Graph Convolutional Networks （KDD‘ 22）
即便在一些相对简单的情形下，节点特征/拓扑与节点标签之间的相关性非常明显，GCNs仍然无法充分地融合节点特征与拓扑结构以提取最相关的信息（见第2节）。在本节中，我们通过两个简单而直观的案例来检验当前最先进的GCNs是否能够在图中自适应地学习节点特征与拓扑结构，并将它们充分融合用于分类任务。分类任务可能与拓扑相关，也可能与节点特征相关，或者同时与两者的组合相关。而GCN从节点特征与拓扑中同时提取信息，但无法自适应地融合，无法避免随机节点特征带来的干扰，因此其表现不及DeepWalk。第5节回顾相关工作；
2025-09-05 10:23:02
960
原创 The Algorithmic Foundations of Differential Privacy - 3(1)
在回顾一些概率工具之后，我们将介绍 拉普拉斯机制（Laplace Mechanism），它能为实数（向量）值查询提供差分隐私。由此一个自然的应用会引出 指数机制（Exponential Mechanism），它是一种在候选离散输出集合中进行差分隐私选择的方法。接着，我们会分析当多个差分隐私机制组合使用时所产生的累计隐私损失。最后，我们将给出一种方法 —— 稀疏向量技术（Sparse Vector Technique） —— 它能够在计算次数可能非常多的情况下，仅对少数“显著”的结果进行私有化报告。在本节
2025-09-02 11:51:15
798
原创 The Algorithmic Foundations of Differential Privacy - 2
要求分析完成后，分析者对任何个体的认知不应比分析开始前更多。形式化的表达是：要求对手在访问数据库之前和之后对某个个体的先验观点与后验观点之间不应“差异过大”，或者说，访问数据库不应让对手对任何个体的看法发生“过度改变”。然而，如果数据库能教给我们任何东西，这种隐私概念就根本无法实现。例如，假设对手原先的错误先验是“所有人都有两只左脚”。访问统计数据库后，他学到几乎所有人都是“一只左脚加一只右脚”。于是，他对“某个受访者是否有两只左脚”的观点发生了显著变化。
2025-09-01 22:19:46
626
原创 The Algorithmic Foundations of Differential Privacy - 1
隐私保护数据分析的问题历史悠久，跨越多个学科。随着关于个体的电子数据变得日益详尽，以及技术使这些数据的收集与管理能力不断增强，人们愈发需要一种。
2025-09-01 21:12:38
779
原创 Heterophily-aware Representation Learning on Heterogeneous Graphs
现实世界中的图结构通常非常复杂，不仅具有全局结构上的异质性，还表现出局部邻域内的强异质相似性（heterophily）。虽然越来越多的研究揭示了图神经网络（GNN）在处理同质图中异质相似性时的局限性，但在异质图中研究异质相似性的工作仍然非常有限。为填补这一研究空白，本文基于元路径（metapaths）对异质图中的异质相似性进行了定义，并提出了两个实用的度量指标来定量描述异质相似性的程度。
2025-08-13 21:44:12
775
原创 GUIDE: Training Deep Graph Neural Networks via Guided Dropout Over Edges （TNNLS‘22）
IEEE Transactions on Neural Networks and learning systems （TNNLS’22）(CCF B) 计算机科学TOP 1区 IF 8.9图神经网络（Graph Neural Networks, GNNs）在图上的半监督学习（Graph-based Semi-Supervised Learning, GSSL）任务中取得了显著进展。然而，大多数现有的 GNN 方法面临过平滑（oversmoothing）问题，限制了其表达能力。导致该问题的关键因素之一是
2025-08-12 14:40:56
987
原创 配置模型（Degree Sequence Model）
配置模型（Degree Sequence Model）是一种简单而有效的图生成模型，它通过给定节点的度序列来生成图。该模型能够精确地控制图的度分布，因此被广泛应用于网络模拟和图论研究中。然而，配置模型也有其局限性，它不能捕捉图中的复杂结构特性，如社区结构、节点间的相互作用等。因此，对于更复杂的网络建模任务，通常需要结合其他模型或方法。
2025-08-05 11:50:06
704
原创 Erdős–Rényi (ER) 模型
ER 模型的基本思想是：给定一个图的节点集合VVV和边的概率ppp对于图中的每一对节点viv_ivi和vjv_jvj，以相同的概率ppp来决定是否在它们之间添加一条边。每一条边是否存在是独立事件，且每条边以概率ppp存在，概率1−p1-p1−p不存在。G(n, p)模型：在图中有nnn个节点，每对节点之间都有独立的边，边的存在概率是ppp。G(n, M)模型：给定nnn个节点，随机选择MMM条边来构成图，而不是为每一对节点赋予独立的连接概率。
2025-08-05 11:45:37
1136
原创 Chung-Lu (CL) 图模型
Chung-Lu 模型是一个简单且有效的随机图生成模型，能够根据给定的节点度分布生成图。它特别适用于研究具有特定度分布的网络结构，并且由于其简洁的结构，常被用作图算法研究和复杂网络建模中的基础模型。然而，它的一个主要缺点是缺乏考虑节点之间的社区结构和其他可能的依赖关系。
2025-08-05 11:37:11
630
原创 Self-supervised Heterogeneous Graph Pre-training Based on Structural Clustering
我们可以看到，我们提出的SHGP达到了最好的综合性能，甚至超过了几种半监督学习方法，表明了其优越的有效性。然而，在现实世界中，图通常包含多种类型的对象和它们之间的多种类型的关系，这被称为异构图，或异构信息网络（HINs）[27]。与同构图上的SSL方法相比，关键的区别在于它们通常具有不同的示例生成策略，以便捕获HINs中的异构结构属性。对于所提出的SHGP，在所有实验中，我们使用两个HGCN层作为Att-HGNN编码器，并在集合{64,128,256,512}中搜索隐藏层的维数。HINs上的SSL。
2025-07-21 15:56:43
628
原创 An End-to-End Attention-Based Approach for Learning on Graphs NC 2025
近年来，基于 Transformer 的图学习架构迅速兴起，主要受到注意力机制作为高效学习方法的推动，以及希望取代消息传递机制中手工设计算子的需求。然而，也有研究对这些方法在实际效果、可扩展性以及预处理步骤的复杂性方面提出质疑，尤其是相较于那些结构更简单、但在各种基准测试中表现相当的图神经网络（GNNs）。为了解决这些问题，我们将图视为一组边，提出了一种纯粹基于注意力机制的方法，由编码器和注意力池化模块组成。
2025-07-20 20:58:38
1066
原创 Distance Information Improves Heterogeneous Graph Neural Networks
异构图神经网络（HGNNs）在处理包含多种类型节点和边的图结构数据时取得了显著进展。然而，现有方法在表示节点语义时，通常忽略了节点之间的距离信息（如结构距离或语义距离），从而限制了模型的表达能力和性能。为解决这一问题，本文提出了一种新颖的框架，名为 Distance-enhanced Heterogeneous Graph Neural Network (DHGNN)，通过显式地整合距离信息来增强节点表示学习能力。我们设计了两种距离感知机制：（1）结构距离感知模块，利用元路径结构中的跳数信息；（2）语义距离
2025-07-08 21:10:37
1056
原创 Heterogeneous Graph Transformer （WWW 2020）译文
异构图广泛存在于现实世界中，例如学术图、知识图谱和金融交易网络。这些图包含多个不同类型的节点和边，其关系极为复杂。尽管已有一些图神经网络（GNN）模型被设计来处理异构图，但它们在大规模图上的建模能力仍较为有限，尤其是在捕捉跨类型依赖性方面。本文提出了一种异构图变换器（Heterogeneous Graph Transformer, HGT）模型，以实现对异构图中不同类型节点之间信息的灵活传递与聚合。HGT 引入了类型相关的注意力机制、边依赖的消息函数，并采用残差连接和归一化技术。
2025-06-14 11:24:09
1271
原创 MHNF: Multi-hop Heterogeneous Neighborhood information Fusion graph representation learning TKDE2023
注意力机制使图神经网络（GNNs）能够学习目标节点与其一跳邻居之间的注意力权重，从而进一步提升性能。然而，大多数现有的 GNN 方法面向的是同构图，其每一层只能聚合一跳邻居的信息。在这种背景下，堆叠多层网络会引入大量噪声，并容易导致“过平滑”（over-smoothing）问题。为此，本文提出了一种多跳异构邻居信息融合的图表示学习方法（MHNF）。具体来说，我们首先提出了一种混合元路径自主提取模型，用于高效提取多跳的混合邻居。随后，设计了一个跳级异构信息聚合模型。
2025-06-13 11:48:02
1026
原创 Revisiting, benchmarking, and refining heterogeneous graph neural networks （KDD 2021）译文
综上所述，现有异构图神经网络（HGNN）存在的主要通病是：缺乏与同构 GNN 和其他 HGNN 方法的公平比较。这种情况在某种程度上促使新模型不断引入新颖但冗余的模块，而不是专注于性能的真实提升。数据泄露（如 MAGNN [12]）在测试集上调参（如 RSHN [45]）时间与内存开销高达两个数量级，但性能却无显著提升（如 GTN [43]）鉴于上述显著的不一致性，我们主动提出建立一个异构图基准（HGB），在多个多样化数据集上覆盖三类任务，旨在为开放且可复现的异构图研究。
2025-06-12 15:39:42
975
原创 MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding (WWW 2020) 译文
大量现实世界中的图或网络本质上是异构的，涉及多种类型的节点和关系。异构图嵌入旨在将异构图中丰富的结构和语义信息嵌入到低维的节点表示中。现有模型通常在异构图中定义多个元路径（metapath）以捕捉复合关系并指导邻居选择。然而，这些模型要么忽略了节点的内容特征、舍弃了元路径中的中间节点，要么只考虑单一的元路径。为了解决这三个限制，我们提出了一种新模型，称为。
2025-06-11 11:25:29
429
原创 Simple and Efficient Heterogeneous Graph Neural Network（AAAI 2023）译文
异构图神经网络（HGNNs）具有强大的能力，能够将异构图中丰富的结构和语义信息嵌入到节点表示中。现有的 HGNN 方法继承了许多为同构图设计的图神经网络（GNN）中的机制，尤其是注意力机制和多层结构。这些机制带来了过多的复杂性，但目前鲜有工作研究这些机制在异构图中是否真正有效。在本文中，我们对这些机制进行了深入而详尽的研究，并提出了一种简单高效的异构图神经网络（SeHGNN）。为了更容易地捕捉结构信息，SeHGNN 预先使用轻量级的平均聚合器计算邻居聚合。
2025-06-10 10:48:36
842
原创 二元随机响应（Binary Randomized Response, RR）的翻转概率
名称公式含义翻转概率11eε1eε1"撒谎"的概率保留真实值的概率eε1eε1eεeε说实话的概率总和两者之和为 1分别处理真实值/扰动是你翻转真实值（加噪声）的概率 —— 所以它才叫翻转概率。self.eps_a是图结构扰动的隐私预算（epsilon）公式来自 Binary Randomized Responsep11eεp1eε1是“翻转边”的概率（即扰动概率）这个函数rr_adj()实现的是：对输入图的邻接矩阵。
2025-05-08 21:13:19
924
原创 Accuracy和Test Micro f1为什么在“单标签多分类”结果一样？
指标相等条件适用场景Accuracy单标签，多分类常用、直观Micro-F1单标签分类 ⇒ 近似准确率更稳定，抗不平衡Macro-F1会区别小类别的重要性不平衡数据首选。
2025-05-08 19:52:55
1041
转载 DevMind：构建效能提升的“导航仪”和“发动机”，实现从数据到价值的跃迁
DevMind：构建效能提升的“导航仪”和“发动机”，实现从数据到价值的跃迁
2023-03-20 21:17:30
3549
上海浦东发展银行近几年面试面经pufabank.pdf
2019-11-21
深度学习Deep learing英文论文
2018-09-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人