基于飞桨的图神经网络调参心得

介绍

最近学习了百度的图神经网络七日打卡营。在这个打卡营中，百度还发布了百度大脑上的“常规赛：论文引用网络节点分类“。该竞赛提供了基线系统，针对基线系统，在调参过程中总结了如下心得：

心得

1. 尝试改变网络主体结构
   基线系统提供了不同的图神经网络结构选择，有GCN，GAT，APPNP，SGC和GCNII。我们可以通过比较不同的网络结构的性能好坏选择一个对比赛题目性能较好的网络结构。
   在选择好网络结构的基础上还可以对网络结构进行魔改，就像课节6中的大神魔改一样。例如，在GAT网络结构中引入ResNet的残差思想，魔改GAT后的代码示例如下所示：
   

2. 尝试改变网络深度和宽度
   在确定网络主体结构的基础上，我们可以尝试改变网络的宽度（hidden_size)或深度(num_layers)。增大网络的宽度或深度将增加训练时显存的占用，如果显存不够可以适当减小网络的宽度或深度。设置代码示例如下所示。

3. 尝试改变训练时的超参数
   这里主要指除了网络结构外其它可调的超参数，例如dropout，学习率，优化器等。通过不同的排列组合，我们将会找到更加合适的超参数。优化器代码示例如下所示。