- 博客(21)
- 收藏
- 关注
RSS订阅转载 【邻居采样】重要性采样
文章转自：https://blog.csdn.net/u011332699/article/details/74298555看了好多篇关于采样，重要性采样的文章，很多都有公式与概念的错误，这篇真是最良心的一篇，从头到尾没有发现错误，而且讲得深入浅出，通俗易懂。引子最近开始拾起来看一些NLP相关的东...
2020-05-30 19:57:29
1053
原创 【GNN存在的问题和未来研究方向】
大热下的 GNN 研究面临哪些“天花板”？未来的重点研究方向又在哪？转载深度学习与图网络目录问题引言1GNN 变得强大的条件1、何为 WL 算法 ？2、再看 GNN2 GNN 的局限性何在？3 未来的研究重点问题作为脱胎于图论研究的热门研究领域，图神经网络（GNN）与经典的 WL 算法有诸多相似之处。众所周知，强大的 WL 算法对于聚合函数的单射性质有很强的要求，那么强大的 GNN 应该具备哪些性质呢？研究大热下， GNN 面临哪些“天花板”？未来的重点研...
2020-05-21 19:15:09
1719
原创 【动态图表示综述】Representation Learning for Dynamic Graphs: A Survey
综述|73页近百篇参考文献JMLR20动态图上的表示学习论文Representation Learning for Dynamic Graphs: A Survey paper转载AIGraph深度学习与图网络摘要图自然出现在许多现实世界的应用程序中，包括社交网络，推荐系统，本体，生物学和计算金融。传统上，用于图的机器学习模型主要是为静态图设计的。但是，许多应用程序涉及不断发展的图。由于节点，属性和边随时间变化，这为学习和推理带来了重要挑战。在此调查中，作者回顾了动态图（包括动态...
2020-05-21 19:00:55
3183
转载 【GNN实验新基准】Benchmarking Graph Neural Networks
Yoshua Bengio等图神经网络的新基准Benchmarking Graph Neural Networks(代码已开源)转载AIGraph深度学习与图网络该论文作者提出了一个基准框架，以促进图神经网络的研究，并解决文献中的实验不一致问题。论文确认目前普遍使用的小型TU数据集不适合研究该领域模型，并在框架内引入六个中等规模的数据集。对图形的多个任务进行的实验表明：i）随着转向更大的数据集，图形结构非常重要；ii）GCN是GNN的最简单的各向同性版本，无法学习复杂的图结构；iii）自节点信...
2020-05-21 18:47:54
1775
原创 【模型优化】梯度中心化：加速训练过程，提高泛化性能，以及对于微调预训练模型的兼容性
转载深度学习与图网络目录引言研究贡献梯度中心化研究动机GC 公式GC 嵌入到 SGDM/Adam 中，效果如何？GC 的特性提升泛化性能加速训练过程实验结果使用方法作者信息引言优化技术何其多也！比如批归一化、权重标准化……但现有的优化方法大多基于激活或权重执行，最近阿里达摩院的研究者另辟蹊径，直接对梯度下手，提出全新的梯度中心化方法。只需一行代码即可嵌入现有的 DNN 优化器中，还可以直接对预训练模型进行微调。优化技术对于深度神经网络 ..
2020-05-21 17:46:39
1570
转载 【Kipf博士GNN论文】图卷积网络作者Kipf四年图神经网络研究精华178页
转载 机器之心目录引言大神个人简介大神的博士论文贡献背景图卷积网络使用图自编码器（GAE）执行链接预测使用图卷积网络处理关系数据神经关系推断（NRI）针对序列行为数据的结构发现模型C-SWM大神博士论文的目录：引言对于普通人来说，将自己的学位论文公布到社交媒体可能需要点勇气。但如果实力够硬，多少人检阅都是不怕的。最近，图卷积网络（GCN）的作者 Thomas Kipf 就公开了自己的博士论文，主题是「使用图结构表示的深度学习」，涵盖从图神经网络到结构
2020-05-21 17:21:27
2475
1
原创 【GNN综述5】Machine Learning on Graphs: A Model and Comprehensive Taxonomy
转载公众号 深度学习与图网络2020新综述-Machine Learning on Graphs:A Model and Comprehensive Taxonomy【斯坦福谷歌】最新《图机器学习》综述论文，38页pdf阐述最新图表示学习进展目录摘要概述本文主要贡献---提出了一个图编码解码器模型(GRAPHEDM)，它将目前流行的图半监督学习算法(如GraphSage、Graph Convolutional Networks、Graph Attention Networks..
2020-05-21 17:04:05
799
转载 【GNN应用1】网络欺诈
转载论文收割机引言欺诈检测（风控）是一个近两年业界和学界颇受关注的话题，其应用方向包括金融欺诈检测，风险控制，网络水军识别，黑产灰产识别等。本公众号之前曾经介绍了一篇基于图模型的欺诈检测文章。随着近两年图神经网络（GNN）广受欢迎，基于图神经网络的欺诈检测研究也随之出现。本文针对近两年内发表的近 8 篇论文进行分析，希望给读者一个 GNN 欺诈检测研究的宏观图景。关于基于图数据的欺诈检测研究最新的进展，可以参考下面的 GitHub 链接：https://githu...
2020-05-21 16:08:21
3607
1
原创 【模型性能-SGD三个参数理解】Epoch、Batchsize、Batchnumber、Iterations 理解
梯度下降法首先让我们来回顾一下这个常见的不能再常见的算法。梯度下降法是机器学习中经典的优化算法之一，用于寻求一个曲线的最小值。所谓"梯度"，即一条曲线的坡度或倾斜率，"下降"指代下降递减的过程。梯度下降法是迭代的，也就是说我们需要多次计算结果，最终求得最优解。梯度下降的迭代质量有助于使输出结果尽可能拟合训练数据。梯度下降法中有一个称为学习率的参数，如上图左所示，在算法开始时，步长更大，即学习率更高。随着点的下降，步长变短，即学习率变短。此外，误差函数也在不断减小。在训练模型时，如果训练数据过多，无
2020-05-15 22:50:12
2283
原创 BERT训练问题（数据并行/模型并行）
最近在了解数据并行和模型并行相关的知识，主要从BERT模型入手学习（相关知识可以参考），其中AI硬(he)件(dan)厂商英伟达宣布，他们在NLP模型上取得了三大突破，为今后会话AI的落地应用铺平了道路。英伟达一举创造了2个壮举！训练出了世界上最大的语言模型——MegatronLM，包含83亿参数，比BERT大24倍，比GPT-2大5.6倍；还打破了实时对话AI的记录，仅耗时53分钟即可训练出行业标准BERT模型、2毫秒就能对答案做出推断！英伟达用自己的硬件与并行计算软件相结合，在BERT模型的训练和推
2020-05-12 17:41:06
2823
原创 分布式深度学习之数据并行和模型并行
转载在深度学习这一领域经常涉及到模型的**分布式**训练（**包括一机多GPU的情况**）。我自己在刚刚接触到一机多卡，或者分布式训练时曾对其中到底发生了什么有过很多疑问，后来查看了很多资料，在这篇博客里对分布式的深度学习模型训练做一个总结。由于是我自己的总结，所以如果有说的不对的地方，还望指正。当然我的总结也是基于一些文献参考来的，所以如有雷同，纯属我借鉴别的大神的文章。如果去查阅与分布式深度学习相关的资料，一般会看到两个词，模型并行和数据并行。模型并行是指把模型的不同部分放置在各个设备上，这样
2020-05-12 17:12:28
8626
1
转载 batch size对训练效果的影响
原文地址：http://blog.csdn.net/juronghui/article/details/78612653原文参考：https://www.zhihu.com/question/...
2020-05-08 11:03:28
1998
转载 GNN总结
原文地址目录1. 图网络的分类2. 卷积 3. 图卷积4. 图卷积的通式5. 参考文献1. 图网络的分类在最开始，我们先梳理一下经常被提到的几个术语的区别和联系，也就...
2020-05-05 23:17:46
1653
原创 【GNN综述4】2020 A Gentle Introduction to Deep Learning for Graphs
转载LemonQC翻译 见1 论文A Gentle Introduction to Deep Learning for Graphs作者：Davide Bacciua, Federico Erricaa, Alessio Michelia, Marco Poddaa意大利比萨大学计算机科学系 引言：最近阅读了一篇2020新的综述，作者对其相对较新的图...
2020-05-03 13:49:10
1159
1
原创 【GNN综述3】Deep Learning on Graphs: A Survey
转载LemonQC论文Deep Learning on Graphs: A Surveypaper翻译见123引言：图神经网络作为一种愈发火热的机器学习技术，在很多的领域展现出了独特的作用力。本人在研一的主要研究方向是 服务机器人云服务平台的研究及智能调度算法的研究，趁着新冠肺炎期间，在家利用接近一个月的时间内，研究了图神经网络相关的基础内容，同时复现一些经典的算法，...
2020-05-02 16:12:22
5269
原创 【GNN综述2翻译】2019 A Comprehensive Survey on Graph Neural Networks
转载机器之心论文：A Comprehensive Survey on Graph Neural Networks论文连接0 背景知识1 引言深度网络的最新进展推进了模式识别和数据挖掘领域的研究。目标检测、机器翻译、语音识别等许多机器学习任务曾高度依赖手工特征工程来提取信息特征集合，但多种端到端深度学习方式（即卷积神经网络、长短期记忆网络和自编码器）改变了这种状况。深度学习在多个领...
2020-05-02 15:00:00
996
原创 GNN之NIPS19 GNNExplainer-GNNExplainer: Generating Explanations for Graph Neural Networks
转载纪厚业本文由斯坦福Jure组发表在NeurIPS2019上. 一作Rex Ying也是著名的GraphSAGE的作者. 代码和数据https://github.com/RexYing/gnn-model-explainer目录1.Introduction2.Model2.1Explanation via Structural Information2.2Explan...
2020-05-01 17:09:39
1628
1
转载 异质图经典方法总结（19年）
转载纪厚业本文主要是大佬梳理了2019年各大顶会上关于异质图神经网络的论文,包括算法研究及应用研究.同时,作者也整理了相关大牛老师/论文/资料/数据集供大家学习.1.介绍 图神经网络是近年来图数据挖掘领域的热门研究方向之一,尤其以Graph Convolutional Network，Graph Attention Network为代表的图神经网络已经引起了学术界与工业界的广...
2020-05-01 16:59:02
10917
2
原创 【GNN综述1-模型与应用】 Graph Neural Networks: A Review of Methods and Applications
转载 纪厚业近年来，图神经网络的研究成为深度学习领域的热点。近日，清华大学孙茂松组在 arXiv 上发布预印版综述文章Graph Neural Networks: A Review of Methods and Applications。该文总结了近年来图神经网络领域的经典模型与典型应用，并提出了四个开放性问题。对于希望快速了解这一领域的读者，不妨先从这篇文章看起。除了这篇综述外，...
2020-05-01 16:31:10
3146
2
原创 图神经网络最新进展 ICLR2020 Geom-GCN
转载纪厚业目录1.Introduction2.Model2.1Geometric aggregation scheme2.2Geom-GCN: An implementation of the scheme2.3How to distinguish the non-isomorphic graphs once structural neighborhood3.Expe...
2020-05-01 16:19:13
1749
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人