梦码城博客中心

图神经网络（GNNs）在分析图结构数据方面取得了巨大的成功，例如社交网络和网页网络。最近，受预训练语言模型的启发，各种预训练图模型（PGMs）被提出。一般来说，PGMs 在预训练阶段通过无监督学习范式捕获可转移的固有图结构属性，然后通过微调来适应不同的下游任务。作为一种强大的学习范式，PGMs 在图机器学习领域受到了相当多的关注，并广泛应用于推荐系统和药物发现等各个领域。然而，最近的研究表明，预训练的语言模型往往会继承预训练语料库的偏见，这可能会针对性别、种族和宗教等敏感属性产生有偏见或不公平的预测。

在概率论中，霍夫丁不等式给出了随机变量的和与其期望值偏差的概率上限，该不等式被Wassily Hoeffding于1963年提出并证明。在无放回抽样时，若想要更好的概率边界，可查看Serfling在1974年发表的论文。在无放回抽样时，若想要更好的概率边界，可查看Serfling在1974年发表的论文。掷硬币，假设正面朝上概率为 p ，反面朝上概率为 1-p ，投掷 n 次，则正面朝上次数的期望值为 np。（CDF）是概率分布函数（PDF）的积分。其中， H(n) 是 n 次投掷中，正面朝上的次数。

图在现实世界中无处不在，例如知识图谱，社交网络和生物网络。近年来，图神经网络( graph neural networks，GNNs ) 在图结构数据建模方面表现出了强大的能力。一般地，GNNs采用消息传递机制，通过迭代地聚合邻居节点的表示来更新节点的表示。得到的表示同时保留了节点属性和局部图结构信息，便于各种下游任务，如节点分类和链接预测。尽管GNNs表现优异，但最近的研究表明，GNNs倾向于从训练数据中继承偏见.

Collecting package metadata (current_repodata.json): failedProxyError: Conda cannot proceed due to an error in your proxy configuration.Check for typos and other configuration errors in any '.netrc' file in your home directory,any environment variables

机器学习公平性主要研究如何通过解决或缓解“不公平”来增加模型的公平性，以及如何确保模型的输出结果能够让不同的群体、个人都有平等的机会获得利益。然而，受文化和环境的影响，人们对公平性的理解存在一定的主观性。到目前为止，公平性尚未有统一的定义及度量指标。

先前工作存在的缺陷先前的工作主要是正则化训练、解纠缠、对偶、低阶矩阵分解、分布对齐等方法，来提高ML的公平性。已有部分在ML上做可验证公平性表征的工作，但是存在的问题：在随机给定的一个数据分布上训练一个端到端的模型，这个模型在预测结果上缺乏可验证的公平性。现有公平性上的文献所关注的ML模型，是在一个（非）平衡数据分布上训练模型，在可测量的目标域中通过现有的公平性评估方法来评估模型的性能，所以公平性评估只取决于评估方法的选择，并未考虑方法的验证性。可验证公平性。

通过GitHub和Stack overflow之间的跨平台用户识别来增强社交编码安全**背景与问题：**GitHub与Stack Overflow等平台逐渐流行，潜在的安全问题也在上升，主要归因于风险与有害代码能很好地嵌入传播。文献利用异质图表示学习识别用户，检测跨平台投毒攻击者。**贡献：**自动跨平台【Github与Stack Overflow】用户识别，利用用户的属性与社交编码属性等进行用户标识，检测投毒攻击者。**方法与模型：**构造跨平台用户代码交互图，基于attributed heterogen

在联邦学习的场景中，很容易在本地客户端添加像后门这种的对抗扰动，从而影响全局模型的训练。针对这些对抗攻击，现有方法包括：设计一种鲁棒性聚合函数、开发经验丰富的联邦学习协议、利用噪声扰动、在训练期间增加额外的评估。但是这些方法都缺乏在一定条件下针对后门攻击的鲁棒性验证。**CRFL的具体过程：**在训练阶段，每个客户端可以上传参数到服务端做聚合与更新，其中服务端主要负责：（1）聚合从客户端收集的模型信息；（2）裁剪聚合模型的范式；（3）对被裁剪模型增加随机噪声；（4）给每一个客户端返回新的模型参数。

矩阵与对角阵相乘的一般特点

你真的了解Pytorch中梯度的计算原理吗？这篇文章主要涉及Pytorch中梯度计算的知识，包括什么是叶子向量，梯度反向传播原理，参数优化过程的详细解释。

3.7自定义评估函数 train = pd . read_csv("./练习数据/ch03_practice_4.csv") train_x = train . drop([ "target" ] , axis = 1) train_y = train [ "target" ] test_x = pd . read_csv("./练习数据/ch03_practice_4_test.csv") test_x = test_x . drop([ "target" ] , axis = 1)

城市地铁已成为现代城市最重要的公共交通工具，每天有数百万人乘坐地铁。由于出行效率关系到城市的工作效率，因此缩短地铁乘客的出行时间是一项迫切的需求，可以带来巨大的经济效益。在本文中，我们研究了一种细粒度、安全和节能的策略，通过动态调度列车停留时间来提高地铁系统的效率。然而，由于以下三个方面的原因，制定这样的策略是非常具有挑战性的：1）优化乘客平均旅行时间的目标是复杂的，因为它需要适当平衡乘客在站台的等待时间和列车上的旅行时间，并考虑对整个地铁系统的长期影响；2） 很难捕捉地铁车站进站乘客的动态时空相关性；3）

数据压缩STC稀疏三元压缩算法复现

联邦学习FedAvg算法复现任务

FedAvg算法+LSTM模型+ Shakespeare数据集——字符预测任务

联合学习允许多方在其组合数据上联合训练深度学习模型，而无需任何参与者将其本地数据透露给中央服务器。然而，这种形式的隐私保护协作学习是以培训期间的大量通信开销为代价的。为了解决这个问题，分布式训练文献中提出了几种压缩方法，可以将所需的通信量减少多达三个数量级。然而，这些现有方法在联合学习环境中的效用有限，因为它们要么只压缩从客户端到服务器的上游通信（不压缩下游通信），要么只在理想条件下运行良好，例如客户端数据的i.i.d.分布，这通常在联合学习中找不到。...

在anaconda的enve下创建新的环境目录env_name，讲导出的压缩环境包上传至新的anaconda的enve下的新的环境目录env_name下，并解压。工具导出当前环境为离线环境，-o参数设置导出环境的文件名。

现代移动设备可以访问大量适合学习模型的数据，这反过来又可以极大地改善设备上的用户体验。例如，语言模型可以改进语音识别和文本输入，图像模型可以自动选择好的照片。然而，这些丰富的数据通常对隐私敏感，数量大，或者两者兼而有之，这可能会妨碍使用传统方法登录到数据中心并在那里进行培训。我们提倡另一种方法，将训练数据分布在移动设备上，并通过聚合本地计算的更新来学习共享模型，我们将这种分散的方法称为联合学习。我们提出了一种基于迭代模型平均的深度网络联合学习的实用方法，并结合五种不同的模型结构和四个数据集进行了广泛的实证评

根据论文《Communication-Efficient Learning of Deep Networks from Decentralized Data》实现FedAvg联邦学习算法。联邦学习入门推荐