图神经网络
欧阳AI锋
这个作者很懒,什么都没留下…
展开
-
HMM-GDAN: Hybrid multi-view and multi-scale graph duplex-attention networks for drug response predic
具体来说,我们提出了混合多视图和多尺度图双关注网络(HMM-GDAN),其中既有多视图自注意机制,也有视图级注意机制设计了捕获视图互补信息的机制,并强调视图的互补性每个视图的重要性协同,丰富的多尺度特征的构建和集成进一步形成高级表示,以便更好地预测。针对多视图设计了双注意机制图学习,它利用视图之间的互补信息并捕获每个视图的重要性查看协作。实现端到端的多视图图学习方案中,我们提出了多视角和多尺度混合方案药物图双注意网络(HMM-GDAN)响应预测,它利用了有用的多视图。通过多尺度信息学习更好的表征融合。原创 2023-09-05 14:12:50 · 111 阅读 · 0 评论 -
Implicit Graph Neural Networks: A Monotone Operator Viewpoint
Implicit graph neural networks (IGNNs) solve a fixed-point equilibrium equation using Picard iteration for representation learning.通常G的选择为:原创 2023-08-06 13:05:00 · 130 阅读 · 0 评论 -
Improving Cross-Modal Retrieval with Set of Diverse Embeddings
框架图:原创 2023-07-28 23:58:45 · 312 阅读 · 0 评论 -
Hubs and Hyperspheres: Reducing Hubness and Improving Transductive Few-shot Learning with Hyperspher
超球面的一致分布:原创 2023-07-24 22:17:25 · 115 阅读 · 1 评论 -
对比学习常见损失函数
本文介绍常见的对比学习损失函数:原创 2023-07-20 18:33:03 · 138 阅读 · 0 评论 -
Adaptive Graph Convolutional Subspace Clustering
基于图卷积算子的表示:根据增广拉格朗日方法得出:整个算法的步骤如下:原创 2023-07-17 17:26:43 · 190 阅读 · 0 评论 -
From Node Interaction to Hop Interaction: New Effective and Scalable Graph Learning Paradigm
首先,由于节点之间的相互作用,可扩展性限制了gnn在大规模工业环境中的广泛应用快速扩展的邻居会导致高计算量和内存的成本。其次,过度平滑问题限制了节点的识别能力,即不同类别的节点表示在多次节点交互后会收敛到不可区分。原创 2023-07-14 21:55:22 · 113 阅读 · 0 评论 -
Few-Shot Class-Incremental Learning via Class-Aware Bilateral Distillation
灾难性遗忘:原创 2023-07-13 09:24:38 · 275 阅读 · 0 评论 -
Efficient Methods for Non-stationary Online Learning
假设:算法过程:Regret分析。原创 2023-07-12 09:53:22 · 180 阅读 · 0 评论 -
Python如何生成列正交矩阵?
下面的代码可以生成随机正交矩阵。原创 2023-07-09 19:18:41 · 275 阅读 · 0 评论 -
Zero-Shot Node Classification
零样本节点分类(Zero-shot node classification)原创 2023-07-08 19:48:45 · 279 阅读 · 0 评论 -
动态图神经网络
我们提出的方法可以有效地通过发现和处理动态图中的时空分布变化充分利用不变的时空格局。最后,我们提出了一个不变性正则化项来最小化干预分布中预测的方差,这样我们的模型就可以基于不变模式的预测,具有稳定的预测能力,因此可以处理分布变化。在三个真实世界的数据集上做实验。在本文中,我们建议处理动态图时空分布的发现与利用不变模式,即预测能力稳定的结构和特征这面临着两个关键的挑战:1)如何发现动态图中复杂的变化与不变的时空模式同时涉及时变图结构和节点特征。我们的工作是对时空的首次研究,据我们所知,分布在动态图形中变化。原创 2023-06-21 12:45:44 · 862 阅读 · 0 评论 -
在线联邦学习算法:FedOMD
联邦学习原创 2023-03-06 21:57:17 · 205 阅读 · 0 评论 -
Mixing matrix
联邦最优化原创 2023-03-05 13:17:54 · 445 阅读 · 0 评论 -
pip install pydensecrf安装报错‘/usr/bin/gcc‘ failed with exit code 1
安装问题原创 2023-02-26 23:03:30 · 807 阅读 · 0 评论 -
【超简单、超实用】Pytorch生成标签的one-hot矩阵
生成one-hot矩阵原创 2023-02-07 10:49:54 · 519 阅读 · 0 评论 -
Deeper GNN
更深的图神经网络原创 2022-10-07 21:41:46 · 226 阅读 · 0 评论 -
CVPR 2023截止时间
CV会议时间原创 2022-09-29 10:13:38 · 5586 阅读 · 0 评论 -
多视图图神经网络
一种多视图图神经网络方法原创 2022-07-16 23:08:40 · 560 阅读 · 0 评论 -
Ubuntu系统nvidia-smi命令报错
最近配置深度学习环境遇到的天坑:nvidia-smi命令报错!网上收集了很多资料, 基本上都是说要配置匹配的gcc版本但是, 我试了很多次,依然不行!!!!最后,我更换了NVIDIA驱动版本后,直接可用了。大功告成,直接上图...原创 2022-07-04 19:21:44 · 1285 阅读 · 0 评论 -
GNN-Retro 逆合成路线规划
逆向综合规划在该领域发挥着重要作用有机化学的一个分支,它可以生成一条合成路线针对目标产品。合成路线是从可用分子开始的一系列反应。这个合成材料生产中最具挑战性的问题路由是候选反应的大搜索空间。估计匹配候选反应的成本已被证明可以有效地修剪搜索空间,从而实现更高的精度与相同的搜索迭代。以及估算对一个反应的估计包括对其所有反应物的估计。那么,如何估算这些反应物的成本直接影响结果的质量。为了获得更好的性能,名为GNN Retro的一种新框架被提出,用于结合图神经网络的逆向综合规划问题网络(GNN)和最新的搜索算法。原创 2022-05-23 11:02:19 · 425 阅读 · 0 评论 -
自监督学习库:solo-learn
论文:solo-learn: A Library of Self-supervised Methods for Visual Representation Learning提出了一种用于视觉表示学习的自监督方法库——自学习。该库使用Python实现,使用Pytorch和Pytorch lightning,通过具有混合精度的分布式培训管道、通过Nvidia DALI更快地加载数据、在线线性评估以获得更好的原型,以及许多其他培训技巧,满足了研究和行业的需求。目标是提供一个包含大量自我监督学习(Self-sup原创 2022-02-16 09:46:41 · 791 阅读 · 0 评论 -
基于路径积分的图卷积和图池化
路径积分和MET矩阵:图卷积为:文献:Path Integral Based Convolution and Pooling forGraph Neural Networks原创 2022-02-08 20:31:53 · 615 阅读 · 0 评论 -
Accelerated Proximal Gradient Method/FISTA
机器学习中的优化问题是一个长久而古老的问题,下面介绍一种经典方法:APG方法(或者称为FISTA方法)的步骤为:迭代复杂度为:F(αk)−F(α)≤O(1k2)F(\alpha^{k})-F(\alpha)\leq O(\frac{1}{k^2})F(αk)−F(α)≤O(k21).step3中等式第二项称为momentum of sequence {αk}k=1∞\{\alpha_{k}\}_{k=1}^{\infty}{αk}k=1∞.尽管APG方法具有很强的迭代复杂度,但对于实际原创 2021-12-26 14:02:58 · 1058 阅读 · 1 评论 -
PDE-GCN:偏微分方程下的图卷积神经网络
NeurIPS 2021文献: PDE-GCN: Novel Architectures for Graph NeuralNetworks Motivated by Partial Differential Equations图形神经网络正日益成为各种领域的主流方法计算机视觉、计算生物学和化学等领域的数据这些都可以用图表自然地解释。然而,与传统的卷积神经网络不同网络,深图网络不一定比其他网络产生更好的性能浅图网络。这种行为通常源于过度平滑现象在这项工作中,我们提出了一系列体系结构来控制这一点设计的行为。原创 2021-12-20 22:23:27 · 1437 阅读 · 0 评论 -
图神经网络处理heterophily图
在大多数情况下,我们所见到的图结构里,只要两个节点是连接的,那么这两个节点的标签和特征也是相似的,如在社交网络、交通网络、卫星网络。但也会有些图不是这样的,例如食物链网络、基站网络等等。heterophily图的处理比困难。下面介绍H2GCN网络。首先,要介绍高阶邻域。如下图所示,有两个邻域,一个是一阶,一个是二阶。所谓二阶邻域,其实就是邻域的邻域。对于图神经网络,会有如下的卷积操作:我们注意到,我们在本著作中所研究的异质性,是一种独特的网络概念来自异质性。在形式上,如果一个网络至少有两个,那么原创 2021-01-04 09:10:13 · 1528 阅读 · 1 评论 -
PyTorch奇异值分解(svd)
PyTorch里面如何进行奇异值分解呢?PyTorch里面有个svd函数torch.svd(input, some=True, compute_uv=True, out=None) -> (Tensor, Tensor, Tensor)示例:原创 2020-09-28 15:01:30 · 6780 阅读 · 5 评论 -
HyperGCN: 超图神经网络
基于超图的半监督学习超图上的卷积:超图上的拉普拉斯:对于每一条超边eee,可以弹出一对顶点(ie,je)=argmaxi,j∈e∣Si−Sj∣(i_{e},j_{e})=argmax_{i,j\in e}|S_{i}-S_{j}|(ie,je)=argmaxi,j∈e∣Si−Sj∣然后正则化Laplacian计算为:L=(I−D−12ASD−12)S\mathbb{L}=(I-D^{-\frac{1}{2}}A_{S}D^{-\frac{1}{2}})SL=(I−D−21ASD原创 2020-08-16 10:06:36 · 2913 阅读 · 0 评论 -
图神经正切核
图数据的学习:核方法此方法需要输入hand-crafted features选择适当的图核Weisfeiler-Lehman subtree kernel [Shervashidze et al., 2011]graphlet kernel [Shervashidze et al., 2009]random walk kernel [Vishwanathan et al., 2010, Gärtner et al., 2003].图神经网络BLOCKREADOUT:原创 2020-08-16 09:07:43 · 422 阅读 · 0 评论 -
Position-aware 图神经网络
结点嵌入的三种方法:图神经网络方法矩阵分解方法随机游走方法下面讲讲图神经网络的方法:在图神经网络框架里,结点嵌入式通过一系列非线性图卷积、池化等操作实现。对于下图,结点v1v_{1}v1和结点v2v_{2}v2是不可区分的。Point-aware图神经网路欧泽可以做到区分二者。它融入了结点的位置信息。结点的位置能被一个low-distorsion映射铺捉到,通过计算结点到ancho-sets的距离。结点嵌入KaTeX parse error: Expected '}', got '原创 2020-08-15 09:20:27 · 457 阅读 · 0 评论 -
图神经网络与因果推理
传统的因果推理基于线性结构方程模型:深度因果推理模型:这是基于图神经网络的模型。利用扁粉自动编码机来学习模型:其中网络结构:因果推理模型为:原创 2020-08-14 23:40:47 · 2888 阅读 · 0 评论 -
图神经网络之池化SAGPool
SAGPool一个自注意力图池化方法,它是架构在层次池化环境下的。Self-attention mask注意力可以让网络关注重要的特征,而轻视不重要的特征。我们利用图图卷积来进行自注意力打分。σ\sigmaσ为激活函数,如tanh.下面需要选取top-k个结点网络结构:(1) 卷积层:(2) READOUT层:(3) 池化层图池化层次池化传送门:https://arxiv.org/pdf/1904.08082.pdf...翻译 2020-08-14 12:52:42 · 1433 阅读 · 0 评论 -
图神经网络与图同构测试
图神经网络在很多任务上取得了非凡的成功,如:(1) Node Classification(2) Link Prediction(3) Graph Classification图神经网络的表示能力究竟如何呢?例如,两个不一样的图,对于某个神经网络来说,是否足够可以区分呢?图神经网络的第kkk层为:为了研究图神经网络的表达能力,需要一种叫multiset的东西,平常我们常说的集合是指不相同元素的聚集,但multiset却可以由重复的元素出现。我们还需要Weisfeiler-Lehman图同构测翻译 2020-08-10 10:56:05 · 894 阅读 · 0 评论 -
Graph Attention Networks
图神经网络里的注意力注意力机制会使得网络关注重要的数据部分,而轻视不重要的,从而增加图神经网络网络的性能大神Bengio团队给出的求注意力系数的方法:注意力聚合邻域的features:多头注意力:多个注意力的并联最后一层取平均:...原创 2020-08-09 10:03:39 · 140 阅读 · 0 评论 -
PyTorch+cudnn安装教程
1. PyTorch安装先安装anaconda,在安装PyTorch安装anaconda去官网找适配系统的版本bash Anaconda2-5.2.0-Linux-x86_64.sh然后配置环境变量vim ~/.bashrc安装PyTorch需要匹配python版本,CUDA版本进入PyTorch官网https://pytorch.org/,2.cudnn安装conda install cudnn...原创 2020-07-11 19:49:55 · 1152 阅读 · 0 评论 -
图神经网络专用DGL库
深度神经网络在近年来的发展和成功有目共睹。这些网络架构成功的一个重要原因在于其能有效地捕捉到了数据内在的相关性,并在不同的抽象级别构建表示 (representation)。比如 CNN 刻画了图片中相邻像素点间的空间不变性;RNN 抓住了文本数据的有序线性结构。CNN 和 RNN 的成功让人思考——我们是否能将此思想拓展到其他结构的数据上呢?事实上,人们一直在探索如何将深度学习应用于更广泛的结...转载 2019-12-31 20:55:56 · 1394 阅读 · 0 评论 -
图神经网络一瞥
图神经网络(GNN)在各个领域越来越受欢迎,本文介绍了图神经网络的基本知识,以及两种更高级的算法:DeepWalk和GraphSage。最近,图神经网络 (GNN) 在各个领域越来越受到欢迎,包括社交网络、知识图谱、推荐系统,甚至生命科学。GNN 在对图形中节点间的依赖关系进行建模方面能力强大,使得图分析相关的研究领域取得了突破性进展。本文旨在介绍图神经网络的基本知识,以及两种更高级的算法:D...转载 2019-10-10 20:37:52 · 149 阅读 · 0 评论