qq_40022890的博客

生成式对抗网络（GAN, Generative Adversarial Networks ）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中（至少）两个模块：生成模型（Generative Model）和判别模型（Discriminative Model）的互相博弈学习产生相当好的输出。原始 GAN理论中，并不要求 G 和 D 都是神经网络，只需要是能拟合相应生成和判别的函数即可。但使用中一般均使用深度神经网络作为 G 和 D 。上文定义摘自百度百科，通过定义，我们知道GA

公众号：异度侵入“规格严格，功夫到家”OGB是斯坦福开源的图神经的数据集和评测榜单，包括了节点性质预测，边的连接预测，以及小图性质的预测三种任务。近日，kdd和OGB的官方合作举办了大规模图数据上的节点分类，边连接预测以及图性质预测三个赛道的比赛。节点分类数据集160g，还在下载，使用OGB的ogbn-arxiv数据集做算法预热。01 ogbn-arxivogbn-arxiv数据集是有向图，表示arxiv网站上所有计算机相关论文引用网络。每个节点就是一篇arxiv论文，每条边都表示一篇文章引用另一篇

公众号：异度侵入“我最早接触数据挖掘，还没学会调参，只会用树模型时，比赛时便在群里听别人讨论图神经网络，谈起Deepwalk，Node2Vector，听起来唬人的算法，觉得这样的算法离我很远，好想使用啊，然后现在我遇到了PyG，一切都不一样了”01 PyG什么是PyG?PyG，全称Pytorch Geometric，听见这个名字就知道它是pytorch的生态圈的，囊括了许多图算法。比如Node2vector，GCN，GraphSage。https://pytorch-geometric.readthe

比赛数据是脱敏后得数据，所以无法用网上公开得权重去finetune，于是自己从头训练一个BERT，为什么选择用transformers，因为它实在太酷了。如果不了解transformers，请看链接所以我不想再从github上找BERT代码，还有一个原因是这次比赛中也许要预训练好多模型，所以使用transformers预训练bert模型后，花费较少成本预训练其他模型了。本次预训练模型主要解决两个问题，一个是transformer使用哪个API去预训练，一个是自己构建词典。直接放代码吧。由于代码太多，把一部

公众号 异度侵入“ 图结构上的表示学习目前受到极大的关注，由于其在许多任务的优异表现，但目前很多方法针对静态图提出。在这篇文章主要解决两个问题如何编码动态图以及如何高效将动态图编码到低维空间中。作者提出了DyRep框架”本篇文章由佐治亚理工学院以及Deepmind合作完成，发表在ICLR2019上，主要解决高效编码动态图的问题，作者提出的DyRep。本篇公众号主要就动态图概念、DyRep框架的关键部分进行解读。01 动态图动态图，指在某一段时间内节点或者边处于变化的图，则在动态图中节点的拓扑结构以

TGN：Temporal Graph Networks论文解读白马非马异度侵入今天“图神经网络（GNNs）的研究已经成为今年机器学习领域的热门话题之一。GNNs最近在生物、化学、社会科学、物理等领域取得了一系列成功。但GNN模型目前以静态图上偏多，然而现实世界许多关系是动态的，比如社交网络、金融交易和推荐系统，动态的变化包含了许多重要信息，只考虑静态图，很难捕捉到其中信息。”本篇文章发表在ICLR2020上，对动态图的节点进行连接预测。TGN中，作者除利用传统的图神经网络捕捉非...