论文笔记：DropMessage: Unifying Random Dropping for Graph Neural Networks

最新推荐文章于 2024-09-06 19:46:13 发布

UQI-LIUWJ

最新推荐文章于 2024-09-06 19:46:13 发布

阅读量1k

点赞数 2

分类专栏：论文笔记文章标签：论文阅读深度学习人工智能

本文链接：https://blog.csdn.net/qq_40206371/article/details/129143721

版权

285 篇文章 70 订阅

订阅专栏

（AAAI 23 优秀论文）

1 intro

G=(V,E)表示图
- $\mathbf{V}=\left\{v_1, \ldots, v_n\right\}$ 表示点集
- E是边集
节点特征矩阵为 $\mathbf{X}=\left\{x_1, \ldots, x_n\right\} \in \mathbb{R}^{n \times c}$
邻接矩阵是 $\mathbf{A}=\left\{a_1, \ldots, a_n\right\} \in \mathbb{R}^{n \times n}$ ，Aij表示点vi和点vj之间的邻接关系
每个点的度是
- 图的度是 $\mathbf{d}(\mathbf{G})=\sum_i^n d_i$
我们有k条边（有向边），那么信息传递矩阵为
- 每一行表示一条边上传递的信息

message passing的GNN可以表示为
- - $h_i^{(l)}$ 表示第l层点vi的表征
  - N(i)是点vi的邻居
  - ej,i是点j到i的边
  - $\phi^{(l)},\gamma^{(l)}$ 是可微函数
  - AGG是一种聚合函数（比如SUM，MEAN等）
记为一个one-hot编码（每一行表示是这条边是由哪个点射出的）
- 信息传递矩阵M可以表示为 $\mathbf{M}^{(l)}=\mathbf{K}^{(l)} \mathbf{H}^{(l)}$

在信息传递矩阵M上进行drop操作
记dropping rate为δ，那么δ|M|个M上的元素将会被mask掉
记一个伯努利分布
- 那么drop之后的信息传递矩阵为 $\widetilde{\mathbf{M}}_{i, j}=\epsilon \mathbf{M}_{i, j}$ （分布为1的保留，所以伯努利分布的p为1-δ）
- 为了让drop之后的信息传递矩阵的期望和drop之前的期望一致，对drop之后的信息传递矩阵乘以一个系数 $\widetilde{\mathbf{M}}_{i, j}=\frac{1}{1-\delta} \epsilon_{i, j} \mathbf{M}_{i, j}$

之前的几种random dropping，都可以看作是DropMessage的特例

减少样本方差
- 随机丢弃会在训练过程中引入噪声，使得训练过程不稳定
- 在给定丢弃率δ的情况下，DropMessage有最小的样本方差
定义信息多样性
- 包括特征多样性和拓扑多样性
  - 特征多样性指从不同点中保留的特征维数的数量（就是有多少个特征没有被完全丢弃掉）
  - 拓扑多样性指多少条有向边上有信息传递
- Dropout、DropEdge、DropNode都不能保持信息多样性，但是DropMessage可以

关注