写一篇GGNN 代码解析(待更新)

编写不易如果觉得不错,麻烦关注一下~(坚持不设置VIP可见)

论文名称:GATED GRAPH SEQUENCE NEURAL NETWORKS(ICLR2016)

参考链接:https://www.jianshu.com/p/40362662014a(连环链接,手动递归)

https://blog.csdn.net/maqunfi/article/details/99703993

代码链接:gihub 有很多,我就选择个标题很好看的“https://github.com/entslscheia/GGNN_Reasoning

 

想写一篇GGNN 代码解析,主要想知道这个网络的优越性有多强。。。。没别的意思

这篇文章是将GRU放入GNN中的一个经典案例。而且利用了多个矩阵代表不同的边类型,比如文中所说的B,C,利用B' C'又分别代表了边的方向。当然(c)图中的阴影部分都是0元素,就是为了乘积抽取只与当前点v 的邻居相关的隐层h信息。这里面的训练参数,【W,U 矩阵分别针对r、z、h操作的共6个训练参数】是一篇关于处理多关系的图模型。当然我这里只是想试验一下它的能力。主要参考github 的各路大神实现。

当然贴一个经典画面:好的~公式h就是gru 隐层,a是对v节点的进一步加工。r是更新门,z是遗忘门,h ~  就是更新后的一种向量,但是最终这个信息能不能决定最终的状态,还是需要 z 来把控。当然我这里还是欣赏多关系的设计。当然这里面有一个设计环节就是图中节点的初始向量,根据上面的博客中,该论文引入了结点标注的概念,个人理解是一种在任务中充当角色的标注,类似特征过程是人工自定义的。

当然我看到的一篇文章中就是自定义这块  ICCV 2019: From Strings to Things: Knowledge-enabled VQA Model that can Read and Reason(当然也可以看我的浅显知乎https://zhuanlan.zhihu.com/p/357696251。之后利用padding用0补齐向量长度。那么就切换一下这篇文章的设计感

preview

图中公式nu是图节点的特征向量,而后面1,0,cu 都可以看作是作者自定义的标注。根据节点在图中传播时的角色自定义的。

 

 

 

人工智能(AI)最近经历了复兴,在视觉,语言,控制和决策等关键领域取得了重大进展。 部分原因在于廉价数据和廉价计算资源,这些资源符合深度学习的自然优势。 然而,在不同的压力下发展的人类智能的许多定义特征仍然是当前方法无法实现的。 特别是,超越一个人的经验 - 从婴儿期开始人类智能的标志 - 仍然是现代人工智能的一项艰巨挑战。 以下是部分立场文件,部分审查和部分统一。我们认为组合概括必须是AI实现类似人类能力的首要任务,结构化表示和计算是实现这一目标的关键。就像生物学利用自然和培养合作一样,我们拒绝“手工工程”和“端到端”学习之间的错误选择,而是倡导一种从其互补优势中获益的方法。我们探索如何在深度学习架构中使用关系归纳偏差来促进对实体,关系和组成它们的规则的学习。我们为AI工具包提供了一个新的构建模块,具有强大的关系归纳偏差 - 图形网络 - 它概括和扩展了在图形上运行的神经网络的各种方法,并为操纵结构化知识和生成结构化行为提供了直接的界面。我们讨论图网络如何支持关系推理和组合泛化,为更复杂,可解释和灵活的推理模式奠定基础。作为本文的配套文件,我们还发布了一个用于构建图形网络的开源软件库,并演示了如何在实践中使用它们。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值