【阅读笔记】Instruction-based Hypergraph Pretraining 对于除了target node之外的节点被称为context node。文章的目标是在预训练阶段学习target node的表征,提高在下游任务的性能。
【阅读笔记】SeGA: Preference-Aware Self-Contrastive Learning with Prompts for Anomalous User Detection o 社交媒体中检测异常用户的重要性,特别是针对恶意活动如虚假信息和网络欺凌。
NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification Q、K、V经过Linear然后经过h个Self-Attention,得到h个输出,其中h指的是注意力的头数。具体来说,掩码多头注意力的作用是在生成每个位置的输出时,将该位置后面的位置的注意力权重设为负无穷或0,从而屏蔽未来位置的信息。多头的机制能够联合来自不同head(关注不同的子空间)部分学习到的信息,这就使得模型具有更强的认识能力。在自注意力机制中屏蔽(或遮蔽)未来位置的信息,以防止模型在生成序列时能够“看到”未来的信息。其中,Q表示查询向量,K表示键向量,V表示值向量,d_k表示维度数。
【图论文阅读】When to Pre-Train Graph Neural Networks? From Data Generation Perspective! 论文来源:SIGKDD2023以往的研究通常从和的角度进行研究,即通过设计各种图预训练模型和微调策略来缓解负迁移。然而,在某些情况下,即使使用最先进的“预训练和微调”范式,仍然无法明显改善下游性能。文章从数据的角度回答,提出了名为的通用框架。探究在什么情况下下游任务可以从图预训练中受益,从而避免不必要的预训练和微调过程。具体来说:如果下游数据可以由一个总结了预训练数据的generator以很高的概率生成,那么这些下游数据更有可能从预训练中受益。
【阅读笔记】Semi-supervised Domain Adaptation in Graph Transfer Learning 文章假设节点靠近它们的伪标签聚类的结构质心则更容易被分类成功,文章将这种节点的伪标签视为更高质量的自监督信号,旨在提高这些节点embedding的识别能力。文章中认为如果一个节点拥有的伪标签X与其他真实标签为X的节点的互信息值大,那么可以认为该节点的是接近类X的质心的,且。特别是,在没有任何监督的情况下,目标图中分布在边界附近、远离其对应类的簇的质心的节点很容易被误分类。文章的目的是学习一个模型,在部分标记的源图的帮助下,准确地预测目标图中的节点类。在每次训练中,更新源域与目标域中原始无标签节点的伪标签;
Win-Win: A Privacy-Preserving Federated Framework for Dual-Target Cross-Domain Recommendation 跨域推荐+联邦学习
FedCorr: Multi-Stage Federated Learning for Label Noise Correction 在现实世界的FL实现中,客户端数据可能有标签噪声,而不同的客户端可能有很大不同的标签噪声水平。虽然在中心式学习中存在方法来处理标签噪声,但这些方法在FL场景下中对异构标签噪声表现不佳, 这是因为FL的客户端数据集较少与数据隐私要求。在本文中提出了FedCorr,一个通用的多阶段框架来处理FL中的异构标签噪声,而无需对本地客户的噪声模型做任何假设,同时仍然可以保护客户数据隐私。
GPPT: Graph Pre-training and Prompt Tuning to Generalize Graph Neural Networks 大量的实验表明,GPPT的性能始终优于 在基准图上的传统训练范式,伴随着更好的调优效率和对下游任务的更好的适应性。在未来的工作中,将探索更具挑战性的知识图中进行提示函数的设计,并尝试元学习改进基于提示的调优。这种显著的差距通常需要进行代价高昂的微调,以使预先训练的模型适应下游问题,这阻碍了对预训练中知识的有效启发,导致了糟糕的结果。在长期的训练过程中,预先培训的知识也将逐渐被过滤掉。任务令牌则是用于分类的标签,本文通过可扩展的聚类模块对输入的图数据进行聚类运算,从而获得每个类别对应的任务令牌。
Hierarchical Personalized Federated Learning for User Modeling 在第二阶段,文章提出了一种细粒度的个性化更新策略,根据局部用户模型和全局模型,将相应的组件加权融合到新的局部模型中。即服务器对从客户端接收到的组件执行差异化的组件聚合策略,公有组件直接聚合,将私有组件的draft生成全局的private component而无需对齐表征(why?此外,它还提供了不同的组件,使用基于接收到的全局模型的细粒度个性化更新策略来更新个性化的用户模型。服务器负责使用不同的组件聚合策略,通过不同的组件将异构的本地用户模型融合到全局的用户模型中。实验结果表明文章提出的方法是有效的。
NVIDIA FLARE中demo运行案例记录 数据集比较大,大概有8GB,可以在本地根目录下面创建一个dataset目录,然后把数据集下载到这个目录下面(这是默认配置),当然也可以下载到别的目录,但后面你可能需要对代码做一点改动。假如数据集的路径和第2步不一样,可以在data_split_gen.sh中修改DATASET_PATH这个变量为响相应路径。这是一个联邦学习框架,在本地运行成功看到的log表示他们应该是把参与联邦的几个客户端和服务端进程在本地多个端口启动。把代码下载到服务器(我是在linux)上,但是我暂时在mac m2机器上没跑成功过。
Location Privacy-aware Service Migration against Inference Attacks in Multi-user MEC Systems 图7©显示了迁移延迟的结果,其中MASAC-dp和我们提出的算法具有很高的迁移延迟,因为它们需要经常将服务迁移到新的bs中,以增强迁移决策的随机性,以保护用户的位置隐私。文章提出的算法达到了第二低的服务响应延迟,而其他算法有更高的服务响应延迟。受益于集中的培训,agents相互协作,无需信息交流,因此,在执行阶段,每个agents使用经过训练的策略网络,根据观察状态独立地做出自己的服务迁移决策,从而减少了agents之间的干扰并允许代理为具有低服务响应延迟和位置隐私泄漏风险的用户做出服务迁移决策。
Constructing Dummy Query Sequences to Protect Location Privacy and Query Privacy.. 文章标题:Constructing Dummy Query Sequences to Protect Location Privacy and Query Privacy in Location-Based Services。
Adaptive Control of Local Updating and Model Compression for Efficient Federated Learning 在网络边缘产生的数据可以通过利用边缘计算(EC)的范式进行本地处理。在边缘计算的帮助下,联邦学习(FL)已经成为在本地分布式数据上进行分布式机器学习的一种实用和流行的方法。分布式数据上的分布式机器学习。然而,联邦学习面临着三个关键的挑战,即资源约束、系统异质性和边缘计算的上下文动态。为了解决这些挑战,我们提出了一种训练效率高的FL方法,称为FedLamp,在资源受限的EC系统中通过优化资源中的局部更新频率和模型压缩率来实现。我们从理论上分析了模型的收敛率 并得到一个与本地更新频率和模型压缩率相关的收敛上界。
记Macbook pro M2下gcc安装与编译 ARM 版 Homebrew 是必须安装在 /opt/homebrew 下的,具体做法参考链接:https://sspai.com/post/63935,里面给出了很具体的说明;换了m2的mac后一直没注意本地homebrew和anaconda都是x86架构的,所以导致这两周在处理c++编译的时候出现了很多匪夷所思的问题,记录一下解决方案📝。然后稍等,只要brew安装过程中命令行没出现什么error的红字就应该没问题,我的安装路径是:/opt/homebrew/Cellar/gcc/12.2.0。
AMP up your Mobile Web Experience: Characterizing the Impact of Google’s Accelerated Mobile Project 移动设备、用户及其相关流量的快速增长,已经成为一些专注于改善移动用户体验(QoE)的项目的动力,但很少有像谷歌发起的加速移动项目(AMP)那样引起争议的,它既因其看似即时的移动网络体验而受到赞扬,又因对其格式的执行的担忧而受到批评。本文首次提出了AMP对用户的QoE的影响的特征。我们使用了一个超过2,100个AMP网页的语料库,以及相应的非AMP网页,基于趋势关键字的搜索来实现这一目标。