- 博客(43)
- 收藏
- 关注
RSS订阅原创 PPI数据集分析
蛋白质 - 蛋白质相互作用网络，包含位置基因集，基序基因集和免疫特征作为特征（共50个）和基因本体集作为标签（共121个）。graphsnodesedgesfeaturestasks20~2,245~61,31850121# 加载数据集 dataset = PPI(root = 'E:/data/ppi') # 若是先前已经存在数据集，那么就把对应的数据集的文件放在以raw命名的文件夹中即可 print(f'数据集包含图的数量是: {
2022-10-27 17:49:58
2906
3
原创 模型选择和解析
随着数据集的选型完成后，接下来就是针对数据集的方向来挑选模型，由于我选择的是（PPI、QM9）这种类型的数据集。所以我挑选模型首选的还是异构图类的模型。通过文献[1]的启发，我初步设定在药物相互作用预测方向上进行设计模型，模型的基本结构设定为：编码器与解码器。
2022-10-24 17:23:09
1074
原创 并非所有边都是对等的：准确的结构感知图池网络(下)
具体来说，ASPool 自适应地保留边的子集来校准图结构并学习抽象表示，其中所有边都被视为非对等点，而不是简单地连接节点。为了保持图的连通性，我们进一步介绍了考虑排名靠前的节点和丢弃边的选择策略。增加一个池化，用来将原来模型忽略的边，再次拿来挖掘信息（应该属于是把数据集中的信息挖掘的更好，得到了更多有用的信息）在 9 个广泛使用的基准上的实验结果表明，与最先进的图形表示学习方法相比，ASPool 实现了卓越的性能。这个图片，还真心不怎么样，但是人家发了一区，所以不要觉得自己的图片不行，其实重点还是内容牛。
2022-10-20 17:32:44
552
原创 并非所有边都是对等的：准确的结构感知图池网络（上）
图神经网络 (GNN) 在图相关任务中取得了最先进的性能。对于图分类任务，精心设计的池化算子对于学习图级表示至关重要。大多数源自现有 GNN 的池化算子通过对节点进行排序并选择一些排名靠前的节点来生成粗图。然而，这些方法未能探索图中节点以外的基本元素，这可能无法有效地利用结构信息。此外，所有连接到低排名节点的边都被丢弃，这破坏了图的连通性并丢失了信息。此外，所选节点倾向于集中在某些子结构上，而忽略其他子结构中的信息。
2022-10-20 16:59:21
500
原创 利用图神经网络进行药物再利用的计算方法(下)
本研究提出了一种图神经网络药物再利用模型，我们称之为GDRnet，以有效地筛选大型批准药物数据库，并预测新疾病的可能治疗方法。我们将药物再利用作为一个多层异构网络中的链接预测问题，该网络约有140万条边，捕获了代表药物、疾病、基因和人体结构的近42,000个节点之间的复杂相互作用。与其他最先进的基线方法相比，我们证明了所提出的模型在真实数据集上的有效性。文章结构也是不错的，这点值得我学习。我们提出了一个用于药物再利用模型的GNN模型，称为GDRnet，从一个巨大的批准药物数据库中预测药物，以供进一步研究。
2022-10-19 21:42:34
273
原创 利用图神经网络进行药物再利用的计算方法(上)
药物再利用是一种识别已批准药物的新医学适应症的方法。这项工作提出了一个图神经网络药物再利用模型，我们将其称为 GDRnet，有效筛选已批准药物的大型数据库，并预测新疾病的可能治疗方法。我们将药物再利用作为多层异构网络中的链接预测问题，该网络具有约 140 万条边，可捕获代表药物、疾病、基因和人体解剖结构的近 42,000 个节点之间的复杂相互作用。GDRnet 有一个编码器-解码器架构，它以端到端的方式进行训练，以生成被测药物-疾病对的分数。
2022-10-19 21:09:05
635
原创 图神经网络的图网络学习（下）
原文:Learning the Network of Graphs for Graph Neural Networks。
2022-10-15 11:36:55
255
原创 图神经网络的图网络学习（上）
图神经网络 (GNN) 在许多使用图结构数据的场景中取得了巨大成功。然而，在许多实际应用中，在应用 GNN 时存在三个问题：图未知、节点具有噪声特征以及图包含噪声连接。为了解决这些问题，我们提出了一种新的图神经网络，称为 GL-GNN。我们的模型包括多个子模块，每个子模块选择重要的数据特征，并在图未知时学习数据样本对应的关键关系图。GL-GNN 通过学习子模块的网络进一步得到图的网络。使用图网络上的聚合方法进一步融合学习到的图。
2022-10-15 11:02:48
775
原创 在图表示学习中打破同构图和异构图之间的壁垒（下）
额外的消融研究进一步说明了图特征的三个方面和提出的自适应特征融合机制的必要性。说起来这篇文章算的上是一篇工程味很浓的文章，文章通过syn-cora 这样一个数据集贯穿始终并伴有9个其他的真实数据集，然后运通大量的模型在这个上面进行训练。所以整体的表格数据方面还是做的不错的，这点也是值得学习的。但是还是有亮点的，首先表格中用红蓝双色来标注出重要的数据，这点是我在原来的论文中没有见过的。其次，他的三个指标随着图特征的动态图的配色真的很漂亮，我很喜欢，未来我们也可以在论文中借鉴这样的配色。
2022-10-14 10:14:38
355
原创 在图表示学习中打破同构图和异构图之间的壁垒（上）
在本章中，基本上简单介绍了一下基本的图神经相关的知识以及符号的定义问题。这里提两个点：要打破同构与异构的壁垒，而且还要准确率高。首要要解决的就是模型能不能识别出图特征。在本文中特征的筛选方法具体如下：定义一个标签为Y\mathbf YY的图G=(V,E)G=(V,E),则边的同构性定义为： 它表示连接具有相同类标签的两个节点的边的分数。边同质性的取值范围是 0 到 1。边同质性接近 1 的图称 为同质性图，而边同质性接近于 0 的图称为异质性图。
2022-10-13 22:26:06
508
原创 16-GNN在大规模图数据上的应用
相对于Cluster-GCN：Simplified GCN的Mini-batch中的节点是从整个图中进行采样的（各个节点之间的计算没有相互依赖），不需要从子图中进行采样，因此其SGD的方差在训练过程中较小。由于GNN的计算是基于邻居节点的消息汇聚机制的，那么，如果切分后的子图能够最大限度的保留原图的邻域信息，那么切割后子图消息汇聚产生的embedding和原图应该是差不多的。最大的问题是随机采样，因为图中的节点明显有不一样的重要程度，采样到不重要的邻居得到embedding的结果明显不是最优的。
2022-09-24 09:56:56
291
原创 15-关于GNN的局限性以及其解决办法
t∉St\notin St∈/S修改攻击节点特征，例如劫持目标节点的邻居1.为攻击节点添加与目标节点的连接。2.去掉攻击节点不相关的边。
2022-09-24 09:56:47
1234
原创 14-深度学习的图生成模型
这里使用的这个模型和VAE，GAN等模型不一样，VAE，GAN一般有两个部分构成：encoder+Decoder或者generator+discriminator，两个部分分别做数据的表征和生成，这个模型只有一个部分，直接用来做数据的密度估计和采样。主要是生成过程计算量很大，可以看到，每次添加新的点，那么这个点要和其他所有已经存在的点做边RNN预测，但是这个可以优化，因为当前加入的节点并不是和所有节点相连。(这里的data相当于所有的真实数据，是无穷无尽的，没法穷举，因此只能尽量多的采样来推测整体数据)
2022-09-24 09:56:37
1009
原创 12-网络中的社区检测
Louvain Algorithm是一个贪心算法，时间复杂度为：O(n log n)该算法支持有权图（无权图可以看做边的权重都为1），最后的结果是层次结构的。算法可用于大型网络，原因是：算法快、收敛快。可得到高modularity的输出仅通过节点-社区隶属关系的局部改变来优化modularity。将第一步识别出来的communities聚合为super-nodes，从而得到一个新网络。返回第一阶段，重复直至modularity不可能提升。
2022-09-24 09:56:06
812
原创 11-使用GNN进行频繁的子图挖掘
对于子图的定义通常有两种，主要看适用的场景例如：化学：节点诱导（官能团）知识图谱：通常是边缘诱导的（重点是表示逻辑关系的边缘）设GQG_QGQ是一个小图，GTG_TGT是目标图数据集。GQG_QGQ在GTG_TGTGTG_TGT不同的节点子集VTV_TVT的数目（VTV_TVT诱导的GTG_TGT的子图与GQG_QGQ同构）图中频率为2图中频率为C1006C_{100}^6C。
2022-09-24 09:55:54
918
1
原创 10-知识推理
上面讲的求交集的操作，下面扩展一下，看求并集的操作。连接查询 + 析取（或）：称为存在正一阶 （EPFO） 查询。我们将它们称为 AND-OR 查询.
2022-09-23 17:19:01
218
原创 8-GNN理论
GNN的表示能力取决于其应用的邻居聚合函数。聚合函数表达能力越强，GNN表达能力越强，单射聚合函数的GNN表达能力最强。这里可以将邻居聚合过程，抽象化，抽象成为一个a function over a multi-set 的问题：具体来说，就是一个作用于带有重复元素的集合的函数。使其应该满足单射的特征。上图表示，邻居聚合过程，可以抽象称为一个a function over a multi-set 的问题。
2022-09-23 16:55:24
602
原创 7-图神经网络的应用
有监督学习supervise learning：直接给出标签（如一个分子图是药的概率）无监督学习unsupervised learning / self-supervised learning：使用图自身的信号（如链接预测：预测两节点间是否有边）有时这两种情况下的分别比较模糊，在无监督学习任务中也可能有“有监督任务”，如训练GNN以预测节点clustering coefficient。
2022-09-23 16:33:21
562
原创 6-GNN Model
首先是传统机器学习难以应用在图结构上。回忆一下节点嵌入任务，具体可以参考第三章。其目的在于将节点映射到d维向量，使得在图中相似的节点在向量域中也相似。我们已经学习了 Shallow” Encoding 的方法来进行映射过程，也就是使用一个大矩阵直接储存每个节点的表示向量，通过矩阵与向量乘法来实现嵌入过程。o(∣V∣)【1】归纳式（Inductive）vs 直推式（Transduction）
2022-09-23 16:02:29
477
原创 5-消息传递在节点分类使用
输入：网页作为图数据输入节点：网页边：网页之间的超链接（有向边：一个页面指向另一个页面）节点特征：网页上的描述（为了简化，我们只考虑二维二元向量）任务：预测网页的主题relational calssification：更新节点归属于基于邻域的标签类的概率iterative classification : 更新节点除了领域标签还添加了节点本身的特征，让分类效果更好了。
2022-09-23 15:50:55
227
原创 4-图视为矩阵（邻接矩阵）的形式，以线性代数的角度来学习PageRank、随机游走和图嵌入
用power iteration方法求解 r = G ⋅ r （G是随机邻接矩阵）用random uniform teleporation解决dead-ends和spider-traps问题算法特点例子原始PageRank按“重要性"对节点进行排名 以均匀的概率传送到网络中的任何节点对节点与传送节点 S 的接近程度进行排名传送回起始节点: 𝑺 = {𝑸}。
2022-09-23 11:23:31
506
原创 3-自动学习节点表征-node embbeing
衡量向量的相似有很多种方式，主要用到两种：一是点积相似度，二是余弦相似度。感觉上点积相似度应该会更好计算一些。Shallow encoder: 嵌入查找优化参数：Z（包含每个节点对应的node embedding）目标：对于相似点对 (u,v)，最大化其embedding点积有边共享邻居有相似的structural roles随机游走random walk定义的节点相似度节点嵌入：使embedding的向量距离能够反应原网络中的节点相似度衡量节点相似度的指标。
2022-09-23 11:06:56
273
原创 2-传统的图机器学习如何进行特征工程
Global neighborhood overlap可以解决local neighborhood overlap上没有共同邻居的问题。Katz index：计算点对之间所有长度路径的条数。（计算方式：邻接矩阵求幂）使用全局图形结构对两个节点进行评分Katz 索引对两个节点之间所有长度的paths进行计数。 手工制作的功能+ ML模型。
2022-09-23 10:25:35
485
原创 数据集的选择(一)
来到实验室后，我就思考我想从图神经网络对脑部CT扫描来预测抑郁症患者这个方向入手来处理问题。但是当我看到论文中的数据集（ABIDE、FTD）这两个数据集都是图片的形式在网上出现的，而我需要的是时序的数字化后的数据集。对比了一下这个数据集的处理难度，我决定放弃，改成另外的一个方向(分子和细胞)。我选择这个方向的理由主要是两个方面：1.这个方向的数据集都是数据的形式呈现的。2.要是做这个方面的实验可以发两个方向的论文一个就是生物，一个是化学。当然还可以是生化类的。
2022-09-21 19:49:06
1137
原创 2022年6-9月文献调研汇总
由于图神经网络在年来，在很多非网格类的数据集上有着不俗的表现，所有吸引了越来越多的研究人员来对其性质以及其应用领域进行研究，本文主要是根据文献鸟[1]汇总了2022年6-9月的图神经方向的论文（还是有些不全）并且根据这些论文进行统计绘图，其中本文绘图是参考[2]的博客。我选取的是其中的ChiPlot。（其实也就是顺带手的练习一下怎么进行绘图）。
2022-09-20 15:18:36
765
原创 GATE（下）
• 为了改善标签有效设置下的fMRI表征学习和分类，作者提供了一个GATE的学习方法，该方法可以有效的解决标签少的问题，然后就是针对这些方法进行理论证明，通过实验发现，提出的这些方法是有效可行的。• 为了改善标签有效设置下的fMRI表征学习和分类，我们提出了一种新的理论驱动的GCNs自监督学习(SSL)框架，即用于fMRI分析的时间自监督学习(GATE)的图CCA。• 个人理解，本文主要是解决了数据标注以及动态FC分析中的杂散因素，在解决这些问题的同时又对这些问题进行理论分析同时还进行大量的实验。
2022-09-17 12:41:24
121
原创 GATE(上)
在这项工作中，我们专注于具有挑战性的任务，神经疾病分类，使用功能磁共振成像(fMRI)。在基于人群图的疾病分析中，图卷积神经网络(GCNs)取得了显著的成功。然而，这些成就与丰富的标记数据和对虚假信号的敏感是分不开的。为了改善标签有效设置下的fMRI表征学习和分类，我们提出了一种新的理论驱动的GCNs自监督学习(SSL)框架，即用于fMRI分析的时间自监督学习(GATE)的图CCA。具体来说，这就要求设计一种适合的、有效的SSL策略来提取fMRI的形成特征和鲁棒特征。
2022-09-07 12:21:07
351
原创 Heterogeneous Edge-Enhanced Graph Attention Network For Multi-Agent Trajectory Prediction(HEATConv)
在异构图的领域，发现很多的方法都没有结合实际的任务的特征而是预设了很多自己的限制，这样就导致训练不好，本文就是解决这个问题
2022-08-26 20:04:02
1413
原创 GNN-FiLM Graph Neural Networks with Feature-wise Linear Modulation (FiLMConv)
文章介绍了一种线性特征调制feature-wise linear modulation (FiLM)新的图神经网络(GNN)。多数标准的GNN变体都是基于边的源节点表示通过边来传播信息。在GNN-FiLM, 目标节点的表示也会通过转换被应用到所有传入信息种，从而实现基于特征调制的信息传递。论文在三个数据集PPI, QM9 和VarMiuse上进行了测试，并在自己机器上和多个baseline(GGNN, R-GCN, R-GAT, R-GIN)，进行了比较。
2022-08-25 16:02:24
459
原创 Pathfinder Discovery Networks for Neural Message Passing(PDNConv)
PDNs通过修正GAT上面的权值以及定义了动态聚合函数解决了在大型图上出现平滑问题，并且在工业界可以很好的应用
2022-08-23 18:15:28
445
原创 DO WE NEED ANISOTROPIC GRAPH NEURALNETWORKS?(EGConv)
作者认为EGC层可以作为目前来说的GNN层的替代层同时在效率和资源上都取得了不错的效果。
2022-08-22 17:02:14
699
原创 Path Integral Based Convolution and Pooling for Graph Neural Networks(PANConv)
图神经网络将传统神经网络的功能扩展到图结构数据。与CNNs类似，图卷积和池化的优化设计是成功的关键。我们借鉴物理学的思想，提出了一种基于路径积分的图神经网络(PAN)，用于图上的分类和回归任务。具体来说，我们考虑了一个卷积操作，它涉及到每个连接消息发送者和接收者的路径，其权重取决于路径长度，这对应于最大熵随机游走。它将图拉普拉斯变换推广到一个新的转移矩阵，我们称之为最大熵转移(MET)矩阵，它是由路径积分形式导出的。重要的是，MET矩阵的对角线条目与子图的中心性直接相关，从而导致一种自然和自适应的池化机制。
2022-08-18 18:39:29
312
原创 Feature-Steered Graph Convolutions for 3D Shape Analysis（FeaStConv）
我们提出了一种新颖的基于局部滤波的图卷积结构FeaStNet，它适用于一般的图结构，包括规则的和不规则的。主要的创新之处在于，我们的体系结构基于网络的前一层的特征动态地确定局部过滤器。因此，网络学习特征(i)有效地塑造局部滤波器，和(ii)为最终的预测任务提供信息。我们在FAUST数据集上获得了比最先进的3D网格对应技术显著提高的结果，并在ShapeNet数据集上获得了与最先进的部分标记技术相当的结果，我们在点云上的k近邻图上应用了我们的模型。...
2022-08-16 12:28:08
417
原创 CGCNN
晶体图卷积神经网络(CGCNN)为材料性能预测和设计知识提取提供了一个灵活的机器学习框架。该框架利用10410^4104个训练数据对具有不同结构类型和组成的无机晶体的8种性质提供了可靠的DFT计算估计。作为知识提取的一个例子，我们将这种方法应用于新的钙钛矿材料的设计，表明从模型中提取的信息与常见的化学见解一致，并显著减少了高通量筛选的搜索空间算估计。...
2022-08-12 17:41:59
5114
原创 JUST JUMP: DYNAMIC NEIGHBORHOOD AGGREGATION IN GRAPH NEURAL NETWORKS(DNAConv)
我们提出了一个动态的邻域聚合(DNA)过程指导(多头)注意图上的表示学习。与目前遵循简单的邻域聚合方案的图神经网络相比，我们的DNA过程允许潜在不同位置的邻域嵌入的选择性和节点自适应聚合。为了避免过拟合，我们建议通过使用分组线性投影来控制输入和输出之间的通道级连接。在一些转导非解密实验中，我们证明了我们的方法的有效性。...
2022-08-08 18:07:45
310
原创 图预训练自监督：Strategies for Pre-training Graph Neural Networks(GINEConv)
少训练集对于一些特定机器学习任务是一个挑战，不过通过预训练（在数据丰富的情况下对相关任务的模型进行预训练，然后对感兴趣的下游任务进行微调）的方法，version和language领域已经有效解决了这一问题，但对于图数据集，仍是悬而未决的。本文提出了一种新的用于GNNs预训练的自监督方法。同时在单节点和全图的层级上预训练以获得一个同时学习了局部和全局表现的富有表现力的GNN。团队系统的研究了大量图分类数据集的预训练，一些初始策略仅在单节点或全图层级预训练，导致了在下游任务中出现负迁移。............
2022-08-04 11:35:40
1037
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人