m0_56878426的博客

Graph Transformers（GTs）通过允许节点对图中所有其他节点进行注意（全局注意力），从而缓解了与稀疏消息传递机制相关的基本限制。由于图结构不像图像一样有着标准化的位置关系，因此全局注意力位置编码要求比较高标准的全局注意力会导致图中有NNN个节点和EEE条边时的二次计算开销ON2O(N^2)ON2，这使得GTs仅限于处理最多几百个节点的小型图。在本文中，提出了一种构建通用、强大且可扩展的图变换器（GPS）的方案。

在利用双曲空间时，目标是提取数据中固有的层次信息。如下图所示，预期的学习目标包括优化父节点与其各自后代节点的关系，即将根节点推向双曲空间原点，同时将叶节点放置在离双曲空间原点更远的位置。本文的贡献：我们提出了一种位置跟踪策略，揭示了双曲学习过程与传统理解之间的显著差异，为双曲表示学习过程提供了新的视角。引入了一种新颖的方法，用于从双曲嵌入中推断隐式的层次结构。它直接从嵌入中提取层次信息，省去了额外输入或注释的需求。提出了一种简单而有效的方法，利用推断出的层次结构推进双曲表示学习。

对于查询和键矩阵，有12288列，对应了初始嵌入维度；首先是右边第一个矩阵维度减少，为128×12288矩阵，它的作用可以看作是将较大的嵌入向量映射为低维度的嵌入向量（12288→128），称这个矩阵为。而左边的矩阵，为12288×128的矩阵，它的作用是：将低维度的嵌入重新映射为高维的嵌入（128→12288），称为。的操作，我的理解是，注意力机制一般会有Add & Norm，而Add代表残差连接，残差连接完成了。通过上述步骤操作，已经知道词之间的相关性（圆圈越大，值越大，相关性越强，矩阵左下方全0）

近年来，图神经网络（GNN）被用于改进协同过滤推荐系统。通过将用户和项目的交互建模为图，GNN能够将图结构信息融合进嵌入中，以提高推荐性能。典型的基于GNN的推荐模型有PinSage、NGCF和LightGCN，它们已在Web规模的应用中取得了显著的成功。负采样问题。在GNN-based推荐系统中，负采样是一项关键任务。负采样是指从未与用户交互的项目中挑选样本作为负样本，用于训练模型。然而，传统的负采样方法通常使用均匀分布来采样负样本，这可能导致模型的学习过程过于简单，不能有效地提升模型性能。

这个函数的作用是从边的特征字段 e 中复制数据，并将其传递到输出消息字段 out 中。简单来说，就是将指定的边特征复制到消息中，供后续的节点更新使用。举个例子，对于边0 → 1，将源节点0的 n_feat=20信息复制给该边，并用消息 m保存。的指定特征字段（u）复制数据到输出消息字段（out）

一个用于计算消息传递的内置函数，它通过对源节点（u）和边（e）的特征执行逐元素（element-wise）乘法操作来生成消息。如果源节点和边的特征形状相同，则直接进行逐元素乘法；使用 dgl.function.u_mul_e 计算消息，在每条边上，使用 u_mul_e 函数计算消息，消息是节点特征和边特征的逐元素乘积。dgl.function.u_mul_e代替了dgl.function.src_mul_edge。send_and_recv函数发送和接收消息，每个节点的特征通过其入边上的消息来更新。

已知DGL创建的同构图，转换为PyG的同构图。已知DGL创建的异构图，转换为PyG的异构图。

指示输入图的节点和边是否已经按照类型排序。如果输入图是预排序的，则前向传播可能会更快。也可以使用 reorder_graph() 方法手动重新排序节点和边。其形状应为 (num_nodes, in_size)，num_nodes 是节点数量，in_size 是输入特征的维度。: 一个 1D 整数张量，表示节点类型。其形状应为 (num_nodes,)，对应每个节点的类型索引。: 一个 1D 整数张量，表示边类型。其形状应为 (num_edges,)，对应每条边的类型索引。

对于节点特征，可以看到矩阵的行为节点数，列为特征维度。对于异构图创建，可以看。

【代码】DGL库之创建异构图。

调用节点计算的接口是update_all()，它在单个API调用里合并了消息生成、消息聚合和节点特征更新。update_all的参数是。经过了消息生成、消息聚合和节点特征更新过程，将新特征h更新到节点的特征字典中。reduce函数采用单个参数节点nodes。该消息传递方式将源节点的特征和边的特征进行聚合。可以用来访问节点收到的信息，然后做一些运算。运行时，以（0,1）边为例，

作者提出了一种适用于任何图的GraphTransformer。这种结构不能很好利用图的连通归纳偏置（graph connectivity inductive bias）当图的拓扑结构很重要且尚未编码到节点特征时，表现很差注意力机制是图中每个节点的邻域连通性的函数positional encoding用拉普拉斯特征向量表示Batch Normalization代替Layer Normalization，优点：训练更快，泛化性能更好。

图神经网络最近的成功显着促进了分子特性预测， 推进了药物发现等活动。现有的深度神经网络方法 通常需要每个属性都需要大量的训练数据集，在实验数据有限的情况下（特别是新的分子属性）会损害其性能，这在现实情况中很常见。为此，我们提出了 Meta-MGNN，一种用于小样本分子特性预测的新模型。Meta-MGNN应用分子图神经网络来学习分子表示，并构建用于模型优化的元学习框架。

梯度下降法(Gradient Descent)是一种用于寻找函数极小值的一阶迭代优化算法，又称为最速下降(Steepest Descent)。其几何意义如下图所示：如果要求A点在紫色向量方向上的斜率(红色线圈出来的)，则可用方向导数。应尽可能选择适中的学习率，过大会震荡，过小迭代次数会过多，如下所示，学习率为0.2更好。为了等一下方便理解方向导数，将上述的偏导数表示成向量形式。相当于方向导数是偏导数的线性组合。方向改变时，就产生了方向导数。时，若极限存在，则称为函数。的偏导数的几何意义同理。

sklearn下各种朴素贝叶斯的分类器的原理可看sklearn之各类朴素贝叶斯原理Sklearn基于数据分布以及这些分布上的概率估计的改进，为我们提供了四个朴素贝叶斯的分类器。类含义伯努利分布下的朴素贝叶斯高斯分布下的朴素贝叶斯多项式分布下的朴素贝叶斯补集朴素贝叶斯类别贝叶斯贝叶斯岭回归，在参数估计过程中使用贝叶斯回归技术来包括正则化参数贝叶斯有以下特点贝叶斯是从概率角度进行估计，不需要太多的样本量，极端情况下甚至我们可以使用1%的数据作为训练集，依然可以得到很好的拟合效果。

贝叶斯的原理可以看：贝叶斯分类器详解根据这篇文章提到的原理，可知贝叶斯的核心公式是：y=argmaxckP(Y=ck)∏j=1nP(X(j)=x(j)∣Y=ck) (1)y=argmax_{c_{k}}P(Y=c_{k})\prod \limits_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_{k}) ~~(1)y=argmaxck​​P(Y=ck​)j=1∏n​P(X(j)=x(j)∣Y=ck​) (1)”朴素贝叶斯“的多种变形算法的主要区别在于对条件概率的处理上，即：P(

混淆矩阵的主要性能指标准确率：模型正确分类的样本占总样本数的比例，准确率衡量了模型在所有样本上的整体表现精确率：模型预测为正类别的样本中实际是正类别的概率，精确率衡量了模型在预测为正类别的样本上的准确性召回率：实际为正类别的样本中，正确预测为正样本的概率，召回度衡量了在实际为正样本中正确预测为正样本的预测概率F1分数：精确率和召回率的调和平均数，F1分数衡量了精确率和召回率之间的平衡混淆矩阵和上述性能指标共同提供了对分类模型性能全面的理解，并帮助评估模型的优缺点，进而进一步优化模型机器学习，周志华。

要对下述的数据集转换成特征矩阵X和标签类别y，则需要认识两种编码。之后会有详细例子，现在先看用法。

一个系统（或者系统中的一部分）有时会拥有一系列定义好的状态，在系统操作过程中可以处于那些状态。例如，一个文件可以处于以下状态：Open、Closed、Modified、Unmodified、Encrypted、Unencrypted等等。有的状态只有在其他状态的情境中才有意义。例如，Modified和Unmodified只有在文件处于Open状态的时候才有意义。正式情况下，把Open叫做复合状态。Modified和Unmodified都是Open状态的子状态。没有任何子状态的状态叫做简单状态。

序列图是一种行为图；和活动图一样，它表示了系统的一种动态视图，这种视图会说明随着时间推移而发生的行为和事件的序列。交互：模块的各个部分会通过操作调用和异步信号彼此交互，以产生浮现式的行为。行为执行的顺序哪个结构会执行哪种行为哪个结构会触发哪种行为序列图使用时机：需要精确地指定实体之间的交互、系统问题域内的交互或者解决方案域内的交互消息代表的是发送生命线和接收生命线之间的通信。那种通信可能是启动行为、在行为的末尾发送回应、创建生命线或者销毁生命线。