论文阅读: DeepGCNs: Can GCNs Go as Deep as CNNs?

论文名称:图卷积神经网络可以走向更深吗?(究极缝合怪)
出自:ICCV 2019 Oral
作者单位: 阿卜杜拉国王科技大学

引言:
卷积神经网络很好,因为它很深,并且由残差连接保证性能的提高。在现有的Graph Convolution Network 只有三到四层,而本文提出的缝合怪有56层。

前言:在后续的论文中,在深度GCN上的论文并没有多少,现有的缝合怪论文体系中并没有它的太多身影。直至2021年12.28日,两年时间内,引用次数为420+次 。
可以看出来,在GCN的狂潮下,这篇文章还是属于热门文章的。而我们也能够充GCN的代码堆叠中看出来,通过不同形式的模块堆叠是能够起到增加模型学习能力的目的的。

内容:

在这篇文章里,主要叙述了一下残差网络、denseNet的功能和效果,并且将他们的思路引入到GCN中,与原始的GCN不同,这里的集成模块由GCN的backbone和融合模块和MLP预测模块组成。
融合模块类似于SE的结构,而mlp是分类器最后的常用操作,只不过后面逐渐被1*1的卷积代替了。
在GCN的backbone,作者给定了三个;
plainGCN
ResGCN
DenseGCN
可以说三者的区别仅仅是跳过连接的数量不同。所以这样能够最大程度的保留原有数据的特征信息,减少梯度过平滑的情况,也就是梯度消失问题的出现。
直接上图DGCN
different backbone

显然,这种backbone + 特征融合(likely SE_block)+MLP (classify)模式定下来,接下来的工作就是换backbone了。
很明显,三种backbone,plain 和 res的k, f都相等,而dense则将f减半,而res和Dense都使用了空洞卷积,这样的好处就是参数量会变少,所以综合这种设计,我们可以猜想,这网络的计算量是有的,并且按照作者当时的背景,一个大型的私立研究所尚且对于图卷积的参数要控制,我们在设计网络架构的时候也要注意,可以将空洞卷积用于GCN中来减少参数!

现在的想法暂时是这样,实验为王!

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值