知乎热议NeurIPS某GNN论文均分4.5被接收? 一作亲自回应来了!

最新推荐文章于 2024-08-01 14:30:39 发布

深度学习技术前沿

最新推荐文章于 2024-08-01 14:30:39 发布

阅读量1k

点赞数

文章标签：人工智能

原文链接：https://mp.weixin.qq.com/s?__biz=MzU2NDExMzE5Nw==&mid=2247534212&idx=1&sn=5bde1b70ccdbbddfcf325eb7eda3af0a&chksm=fc4dfcc6cb3a75d086af82e6f09163fa8166ec4c5c7cb3fa9fea61776c1edfc5bb8609b34bc0&scene=126&sessionid=0

版权

知乎原问题：

如何看待NeurIPS2022张牧涵组GNN论文均分4.5却被接收？

https://www.zhihu.com/question/570397325

问题描述：

论文在这How Powerful are K-hop Message Passing Graph Neural Networks

https://openreview.net/forum?id=nN3aVRQsxGd

审稿意见是公开的。该论文的4个审稿意见分数分别为3,4,5,6，只有6分为weak accept。这不仅远低于NeurIPS接收线(5.75分)，甚至低于被拒论文转投AAAI的要求。如何客观评价该论文的质量？该论文为何能被接收？

这里转载此论文一作的知乎回答（版权归属原作者，侵删），有理有据，大家可以参考学习下rebuttal过程。感兴趣其他回答的可点击问题链接查看。

----------------------------

作者“小飞棍来咯”

我是这篇文章的first author。实在没想到文章会以这样的方式火了，实在有点懵逼。不过既然这么多讨论，那我还是来说一下自己的看法吧：

在neurips放榜前，其实我并不抱什么希望了，一直在准备ICLR的投稿了。看到被接收时候本人可能比你们更懵hh。不过我觉得与其在匿名状态下在对AC在reviewer给出低分的前提下接收文章这一事件进行恶意的揣测前，不如先花时间浏览我们在rebuttal期间所做的努力以及和reviewer的讨论。这里我们可以一个一个来看.

reviewer qmM3(5) 和 1P51 (6)

qmM3:

1P51:

这两个reviewers的concern主要在于没有 a. 系统的比较K-hop GNN和subgraph GNN还有distance encoding的区别。b. 理论部分只集中于regular graph。c. 同时对于complexity的分析和比较不够完善。d. 另外还有一些实验setting的问题。

基于reviewers提出的建议，我们 a. 补充了subgraph

和 K-hop GNN的区别，及subgraph GNN需要对一张图跑n次GNN但是K-hop只需要跑一次，distance encoding和K-hop在node-level

上的表达能力并不同。b. 证明了K-hop的表达能力上界。c. 重新分析了complexity，并说明K-hop相比subgraph GNN以及ppgn在space和time complexity上都更有优势。d. 补充以及完善了实验setting。两个reviewers最后都决定保持原来的分数。我们也很appreciate 他们提出的建议让我们的工作更加的完善。

reviewer uewD (4)

这位reviewer给出4分的理由如下：

首先这位reviewer给出4分的理由是否充足这个问题可能仁者见仁。但是从rebuttal开始到结束这位reviewer并没有参与过一次讨论，更无从谈起修改分数的问题了。

reviewer QvfD (3)

reviewer QvfD可能是最关键的一位reviewer了，所以这里我放在最后说。TL;DR: 在多轮讨论后，reviewer QvfD仍然在质疑MLP的universal approximation theorem在我们的framework下不成立，并在我们给出formal proof后没有任何进一步讨论及改分。

他给出3分的理由是因为K-hop的definition导致COMBINE function其对不同的k-th hop的message passing并不是injective。因为这个原因所以后面所有的理论分析都是不正确的。

首先来看一下我们文章中的definition：

对于不同hop的信息，我们提出的framework会用一个independent的MES function和UPD function去学习。因为MES 和UPD在实现过程中都是MLP，所以基于MLP的universal approximation theorem，很容易说明independent的MES和UPD可以区分不同hop的信息从而在后续的COMBINE function中做到injective。这是我们的第一轮回复：

reviewer QvfD 继续提出问题：

可以看到这个时候reviewer可能还是没有理解，我们进一步做了回复：通过MLP可以构造区分不同hop信息的MES 和UPD function，继而使得COMBINE 可以区分不同的hop：

reviewer QvfD继续回复：

这里可以看到，reviewer不再质疑COMBINE function，反而转头质疑MLP的 universal approximation result。这让我们开始对这位reviewer的专业性产生怀疑。但我们还是继续回复：我们解释了MLP的universal approximation theorem，并且利用MLP正式的构造了相应的MES和UPD function。

reviewer QvfD继续回复：

从这里开始，QvfD的回复只能说明他either完全没学过MLP or 故意挑刺。我们进一步回复：

reviewer QvfD继续回复：

到这里，QvfD已经完全找不出问题，而只是一味的要求一个“formal”的proof。最后我们在appendixB中用一页纸给了他这个trivial question的formal proof。然后他就消失了。。消失了。。。消失了。。。

这大概就是我们与每个reviwer交流的过程。大家可以自己品尝一下。我觉得大家在质疑AC的资格前，是不是更应该关注reviewer是否是尽职尽责的。如果reviewer无法客观的评价文章好坏，那么AC盲目跟从reviewer的意见难道就是公平公正的吗？我无法评价AC决定接收的正确与否，但非常感谢他/她对我们工作的认可。

文章质量

在这篇工作中，我们概括并分类了之前所有的基于K-hop aggregation的GNN模型，并从理论角度分析了这类模型对于普通message passing neural networks (MPNNs) [1]在表达能力上的提升，具体结论有：

K-hop GNNs 在表达能力上严格大于MPNNs。
使用一层基于最短距离的K-hop GNNs 即可以接近1的概率区分所有的r-regular graphs

进一步，我们讨论了现有模型与K-hop GNNs的联系与区别：

K-hop GNNs 与Distance encoding [2]在node-level的表达能力上是不同并且相互不能超越彼此。
GINE+ [3], graphormer [4] 都可以被K-hop GNNs所描述，因此其表达能力也被K-hop GNNs 概括。
给出了Spectral GNNs 即便使用了polynomial filter依然无法超越1-wl [5]以及为什么K-hop GNNs可以超越的原因。

4. K-hop GNNs 比之前的beyond 1-wl的方法，比如subgraph GNNs [6-7]， K-order GNN [8]和PPGN [9]在时间及空间复杂度上都更具优势。

同时，我们给出了K-hop GNNs 的表达能力上限是3-WL test。

基于观察以及理论结论，我们进一步提出了KP-GNN，在一定条件下，KP-GNN可以超越3-wl并且区分大量的strongly regular graphs。

最后是一些实验结果：

但是现在版本的文章中确实还存在一些typo和理论证明描述中不够清晰的部分。前两天刚从neurips现场回来，也收集了一些建议。在neurips给到的另一次final version上传之前我们会再做一次仔仔细细的proof reading,欢迎关注！

另外，我们投身于科研事业的目的应该也不是为了发文章，而是对科研这份事业的热爱以及对整个community做出自己的贡献的一份心吧。所以与其花时间在知乎上讨论文章是否该被接收，不如更多的讨论文章的内容以及对community未来的启示。只要我们的工作能给community带来哪怕那么一点的启发，那我觉得无论文章被接收与否，我们所作出的努力都是值得的。这里也欢迎大家在看过文章后与我讨论。

不实言论

一些回答中出现了对张牧涵老师的一些不实言论。张老师既是我的学长，也是我的导师。我一个博士一年级学生能够在一年内从什么都不懂的小白到现在，没有张老师的辅导与帮助是绝无可能的。在没有充分证据前，请停止对张老师的一切诽谤行为。

最后，最近还更新了一版文章的code，欢迎大家测试！

https://github.com/JiaruiFeng/KP-GNN

[1] Justin Gilmer, Samuel S Schoenholz, Patrick F Riley, Oriol Vinyals, and George E Dahl. Neural message passing for quantum chemistry. In Proceedings of the 34th International Conference on Machine Learning-Volume 70, pages 1263–1272. JMLR. org, 2017.

[2] Pan Li, Yanbang Wang, Hongwei Wang, and Jure Leskovec. Distance encoding: design provably more powerful neural networksfor graph representation learning. In Proceedings of the 34th International Conference on Neural Information Processing Systems, pp. 4465–4478, 2020.

[3] Rémy Brossard, Oriel Frigo, and David Dehaene. Graph convolutions that can finally model local structure. arXiv preprint arXiv:2011.15069, 2020.

[4] Chengxuan Ying, Tianle Cai, Shengjie Luo, Shuxin Zheng, Guolin Ke, Di He, Yanming Shen, and Tie-Yan Liu. Do transformers really perform badly for graph representation? In Advances in Neural Information Processing Systems, 2021

[5] Xiyuan Wang and Muhan Zhang. How powerful are spectral graph neural networks, In Proceedings of the 39th International Conference on Machine Learning-Volume 162, pages 23341–23362, 2022.

[6] Muhan Zhang and Pan Li. Nested graph neural networks. In Advances in Neural Information Processing Systems, volume 34, pp. 15734–15747, 2021.

[7] Lingxiao Zhao, Wei Jin, Leman Akoglu, and Neil Shah. From stars to subgraphs: Uplifting any gnn with local structure awareness. In International Conference on Learning Representations, 2022.

[8] Haggai Maron, Heli Ben-Hamu, Nadav Shamir, and Yaron Lipman. Invariant and equivariant graph networks. In International Conference on Learning Representations, 2019b.

[9] Haggai Maron, Heli Ben-Hamu, Hadar Serviansky, and Yaron Lipman. Provably powerful graph networks. In Advances in neural information processing system, volume 32, pp. 2156–2167, 2019a.