Deep Neural Networks for Learning Graph Representations——paper 笔记

最新推荐文章于 2022-07-05 21:29:10 发布
最新推荐文章于 2022-07-05 21:29:10 发布
阅读量2.3k 收藏 2
点赞数
分类专栏： 深度学习 自然语言处理 NRL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wang2008start/article/details/81292470
版权

和基于 SVD 的降维（将原始的高维空间通过线性变换隐射到低维空间上）不同，深度神经网络，比如 stacked auto-encoders 学习到的映射都是高度非线性的。

论文开头，通过介绍 Deepwalk，说明如何将节点的表示转化成线性表示。 展示两种word 向量表示方法：1，负采样的skip-gram和基于PPMI矩阵的矩阵分解。

矩阵分解，利用词和词的共现矩阵来产生词向量表示，主要缺点是一些没有语义价值的如停用词，在产生词向量时发挥不成比例的作用。基于此有人提出了pointwise mutual information（PMI）矩阵。

 A stacked autoencoderPPMI矩阵是 当PMI为负值时，取0.

PPMI是个高维矩阵，可以通过 SVD 进行矩阵分解，产生 d 维因子。 U和V都是正交矩阵，中间是对角矩阵。

 

词向量可以表示为R，通过对角矩阵的top-d

最低0.47元/天 解锁文章
wang2008start
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Learning Convolutional Neural Networks for Graphs论文笔记
昼
11-04 146
Learning Convolutional Neural Networks for Graphs
【论文】解读Deep Neural Networks for Learning Graph Representations
panbaoran913的博客
04-14 1466
Deep Neural Networks for Learning Graph Representations 摘要 本文提出了一个新颖的学习图表示的模型，它可以对每个节点通过抓取图结构信息得到一个低维的向量表示。不同于前任的研究，我们采用一个‘随机冲浪模型’(random surfing model)去直接抓取结构信息，而不是使用Perozzi等人提出的基于采样方法的生成的线性序列。我们方法的优势将从理论和经验的角度来说明。 我们还为Levy和Goldberg (2014)提出的矩阵分解方法提供了一个新的
百度飞浆图像分割课程 笔记07：基于视觉特征的图推理方法 Beyond Grids（Learning Graph Representations for Visual Recognition）
qq_39804263的博客
10-26 688
Beyond Grids：Learning Graph Representations for Visual Recognition 具体方法 图投影（Graph Projection） 本质：把一些特征相似的pixel分配到同一个节点，也就是特征点聚合。 如何特征点聚合 分配特征X={x1；x2；x3；...；xNx_{1}；x_{2}；x_{3}；...；x_{N}x1​；x2​；x3​；...；xN​}∈RN×dR^{N×d}RN×d到节点集合。其中N=H×W。 步骤1：首先计算一个分配矩阵，作
Transformer综述(A Survey on Vision Transformer) 阅读学习笔记（四）--高效Transformer、计算机视觉的自注意力、Transformer的总结与展望
sazass的博客
03-11 6999
论文综述： 文章主旨：在本文中，我们回顾了这些视觉Transformer模型，将它们分为不同的任务，并分析了它们的优缺点。我们探讨的主要类别包括主干网络、高/中级视觉、低级视觉和视频处理。我们还包括有效的Transformer方法，用于将Transformer推进基于设备的实际应用。此外，我们还简要介绍了计算机视觉中的自我注意机制，因为它是Transformer的基本组成部分。在本文的最后，我们讨论了视觉Transformer面临的挑战，并提供了几个进一步的研究方向。 其他章节： Transformer综
【论文阅读｜深读】DNGR:Deep Neural Networks for Learning Graph Representations
海到无边天作岸 山登绝顶我为峰
07-05 2144
原文链接：https://dl.acm.org/doi/abs/10.5555/3015812.3015982会议：AAAI‘16 （CCF A类）年度：2016在本文中，我们提出了一种新的学习图表示的模型该模型通过捕获图结构信息来生成每个顶点的低维向量表示与以往的研究不同，我们采用随机冲浪模型（ random surfing model）直接获取图结构信息，而不是使用Perozzi等人(2014)提出的基于抽样的方法生成线性序列我们还为Levy和Goldberg(2014)提出的矩阵分解方法提供了一个新的
【论文阅读】Deep Neural Networks for Learning Graph Representations | day14，15
qq_41821608的博客
02-01 421
《Deep Neural Networks for Learning Graph Representations》- (AAAI-16)-2016 文章目录一、模型1.1解决了两个问题1.2优点二、背景知识2.1DeepWalk中的未加权图随机采样法2.2 两种从线性结构数据中学习词语表示的线性方法2.2.1Skip-gram with Negative Sampling带负抽样的跳跃图2.2.2 PMI matrix 结合 SVD 使用2.2.3深度神经网络三、DNGR模型3.1随机冲浪模型3.2优点  
YouTube推荐系统Paper[2016]-Deep Neural Networks for YouTube Recommendations.pdf
02-24
YouTube推荐系统Paper[2016]-Deep Neural Networks for YouTube Recommendations.pdf YouTube推荐系统Paper[2016]-Deep Neural Networks for YouTube Recommendations.pdf
Deep Neural Networks for YouTube Recommendations.zip
06-01
Deep Neural Networks for YouTube Recommendations -Paul Covington, Jay Adams, Emre Sargin Google Mountain View, CA {pcovington, jka, msargin}@google.com YouToBe推荐算法
Deep Learning Practical Neural Networks with Java 无水印pdf
09-30
Deep Learning Practical Neural Networks with Java 英文无水印pdf pdf所有页面使用FoxitReader和PDF-XChangeViewer测试都可以打开 本资源转载自网络，如有侵权，请联系上传者或csdn删除 本资源转载自网络，...
图表示深度学习综述（Deep Learning for Learning Graph Representations）【清华大学朱文武老师】.zip
01-04
近年来，随着网络数据量的不断增加，挖掘图形数据已成为计算机科学领域的热门研究课题，在学术界和工业界都得到了广泛的研究。但是，大量的网络数据为有效分析带来了巨大的挑战。因此激发了图表示的出现，该图表示将图映射到低维向量空间中，同时保持原始图结构并支持图推理。图的有效表示的研究具有深远的理论意义和重要的现实意义，本教程将介绍图表示/网络嵌入的一些基本思想以及一些代表性模型。
基于深度学习的图表示学习方法综述（Deep Learning for Learning Graph Representations）.pdf
03-24
图，如社交网络、单词共存网络和通信网络，广泛地存在于各种现实应用中。通过对它们的分析，我们可以深入了解社会结构、语言和不同的交流模式，因此图一直是学界研究的热点。
IEEE Transactions on Neural Networks and Learning Systems期刊模板
02-09
《IEEE Transactions on Neural Networks and Learning Systems》是国际电气与电子工程师协会（IEEE）出版的一份顶级期刊，专注于神经网络和学习系统领域的研究。该期刊发布高质量的原创论文，涵盖理论发展、算法...
An Overview of Multi-Task Learning in Deep Neural Networks.pdf
02-23
particularly in deep neural networks. It introduces the two most common methods for MTL in Deep Learning, gives an overview of the literature, and discusses recent advances. In particular, it seeks ...
近期图卷积阅读相关整理
weixin_40939762的博客
11-29 746
一、综述类文章 A Comprehensive Survey on Graph Neural Networks（2019） 论文翻译：https://blog.csdn.net/yyl424525/article/details/100057958 该文章主要介绍了GNN简史、GNN的主要发展方向、GNN的分类等。再结合相关文章总结如下： GCN（graph convolutional network）的远古祖先可以往GNN（graph neural network）上靠。GCN主要针对的数据结构是图（gr
Deep Neural Networks for Learning Graph Representations论文笔记
guaidoukx的博客
04-13 1003
Deep Neural Networks for Learning Graph Representations stack anto-encoder 的相关介绍 网络性质 属性、标签 权重 方向 方法 任务 同质 有 有权 有向 matrix factorization node classification 异质 无 无权 无向 random walk link predic...
图神经网络之图嵌入笔记学习
qq_42524215的博客
08-30 1661
图嵌入综述 图分析任务的分类：（a)节点分类（b)链接预测（c)聚类（d)可视化 真实的图（网络）往往是高维、难以处理的，嵌入的思想是在向量空间中保持连接的节点彼此靠近 图嵌入的目的是发现高维图的低维向量表示 图嵌入的方法 （1）基于因子分解的方法； （2）基于随机游走的方法； （3）基于深度学习的方法。 预备知识 一阶近似：边缘近似的权值也称为节点vi和vj之间的一阶近似值，因为他们是两个节点之间第一也是最重要的相似性度量。 二阶近似：一对节点之间的二阶近似描述了该对节点领域结构的相似性。 在上图中因
论文笔记之Learning Deep Representations for Graph Clustering
BVL的博客
01-09 3960
本篇论文是2014年AAAI的一篇论文。思想也比较简单，主要是采用SAE（栈式自编码），在graph上进行node embedding，将embedding得到的每个node的vector做为输入，进行graph cluster。论文中采用的是最常用的k-means方法来cluster。算法如下： step1 得到graph的n*n的邻接矩阵S和度矩阵Dstep2 将D’S作为SAE的输入
hybrid graph neural networks for few-shot learning
最新发布
10-23
混合图神经网络用于少样本学习。少样本学习是指在给定的样本数量非常有限的情况下，如何进行有效的学习和分类任务。混合图神经网络是一种结合了图神经网络和其他模型的方法，用于解决少样本学习问题。...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值