【知识图谱系列】PairNorm、DropEdge、DAGNN、Grand和GCNII五篇2020 Over-Smoothing论文综述

作者：CHEONG

公众号：AI机器学习与知识图谱

研究方向：自然语言处理与知识图谱

本文分享2020年相关顶会对于DeepGNN Over-Smoothing的解法，共汇报五篇顶会论文，汇报完整版ppt可通过关注公众号【AI机器学习与知识图谱】后回复关键词：Over-Smoothing 来获得，供学习者使用！

一、Motivation

在计算机视觉中，模型CNN随着其层次加深可以学习到更深层次的特征信息，叠加64层或128层是十分正常的现象，且能较浅层取得更优的效果；

图卷积神经网络GCNs是一种针对图结构数据的深度学习方法，但目前大多数的GCN模型都是浅层的，如GCN，GAT模型都是在2层时取得最优效果，随着加深模型效果就会大幅度下降；

GCN随着模型层次加深会出现Over-Smoothing问题，Over-Smoothing既相邻的节点随着网络变深就会越来越相似，最后学习到的Node Embedding便无法区分，模型效果下降。

为什么要将GNN做深，DeeperGNN适用于解决什么问题：

（1）少标签半监督节点分类

（2）少特征半监督节点分类

1、邻接矩阵A：归一化方式P ̃，采样等；

2、节点特征H：Local Information, Global Information如何选择；

3、参数W：Transformation添加的位置（相对于Propagation）等；

4、损失函数Loss/Normalization：通过loss函数控制模型对于Node Embedding学习

接下来，我们将通过上述一个公式，结合以上四点观点，分享下面五篇论文

二、汇报PPT

三、往期精彩

干货 | Attention注意力机制超全综述

【知识图谱系列】多关系神经网络CompGCN

【面经系列】八位硕博大佬的字节之旅

各大AI研究院共35场NLP算法岗面经奉上

【机器学习系列】机器学习中的两大学派

Tensorflow常用函数使用说明及实例简记

机器学习中优化相关理论知识简述

自己动手实现一个神经网络多分类器

Transformer 模型的 PyTorch 实现

干货 | NLP中的十个预训练模型

干货|一文弄懂机器学习中偏差和方差

FastText原理和文本分类实战，看这一篇就够了

Transformer模型细节理解及Tensorflow实现

GPT,GPT2,Bert,Transformer-XL,XLNet论文阅读速递

机器学习算法篇：最大似然估计证明最小二乘法合理性

Word2vec, Fasttext, Glove, Elmo, Bert, Flair训练词向量教程+数据+源码

五篇顶会论文，汇报完整版ppt可通过关注公众号后回复关键词：Over-Smoothing 来获得，之前详细介绍过GCNII这篇论文【知识图谱系列】探索DeepGNN中Over-Smoothing问题，后续会详细介绍其他几篇论文。有用就点个赞呗