2021-MAXP-DGL图机器学习大赛-Graph@ICT-复盘与总结【rank6】

2021-MAXP-DGL图机器学习大赛-Graph@ICT-复盘与总结

写在前面

时间真快，遥想刚开始搞这个比赛的时候，我还是刚从字节离职。一晃几个月就过去了，我的研一上学期也接近了尾声。

这个比赛奖金贼多，总奖金18w，但是根据我从小到大围棋比赛的经验来看，有奖金特别是奖金丰厚的比赛往往能卷出新高度，一般都非常的难打。所以，我就一直觉得重在参与就好，但即使这样我中后期还是心态崩了。在组队方面，虽然师姐和同学是我的精神支柱，但是我没能找到一起写代码的队友，只好全程自己一个人肝。此外，研一上的课不是一般的多，感觉天天都是上课、写作业、考试，卑微的打工人只能抽出所剩无几的课余时间推进一下比赛的进度（虽然我觉得我全身心投入也干不过前排大佬，哈哈哈哈）。

虽然最后只是rank8（最后4, 5不知道咋回事，好像是一个人，所以变成rank6了，哈哈哈哈），但好歹也有1w奖金，也算是几个月的努力没有白费，今后还要继续努力啊。

代码：https://github.com/ytchx1999/MAXP_DGL_Graph

初赛：超长战线

不得不说，这比赛初赛的时间真的长（10月~12月），分三个阶段总结一下。

前期：顺风顺水到阶段性受挫

我开始的比较早，基本就是国庆之后数据集和baseline就放出来了。有一点值得一提，这个比赛只能用DGL，其他的不能用（PyG、PGL等）。我之前没怎么用过DGL，就只能现学现卖，好在官方给了baseline。

首先肯定是跑baseline，看看啥情况。这个赛题我再熟悉不过了，几乎是和本科毕设一模一样（引文网络的节点分类任务），只不过数据集大了好多。有了一些先验知识的指导，再看代码感觉也比较好理解了。前期主要是在学习DGL的一些使用，仔细去看看了文档，慢慢也就熟悉了，甚至我觉得DGL比PyG更香一点。

baseline主要是GraphSAGE和GAT，没调参没加trick，GraphSAGE的acc大约在48左右，GAT高一点差不多在49左右。后面主要是根据在baseline的基础上做了一些改动（吐槽，baseline代码写的太烂），对GAT加了一些之前刷榜用过的trick：

• node2vec embedding：全图跑一边node2vec，得到embedding拼接到原始特征上，和C&S一起用有一些提升
• FLAG：分类器比较弱的时候能有5k的提升吧，不过一个epoch的速度肉眼可见的慢了，也导致了我训练的难度变大了
• bn/dropout：稳定梯度，防止过拟合
• label usage：有点歪门邪道，加上C&S后就果断抛弃了
• C&S：好好调调超参还是比较有用的
• 模型融合：主要融合了GAT，GraphSAGE和GCN，大约有4k的提升

一波操作，分数就来到了54.24。由于我开始的比较早，还没有多少人来提交这个比赛，所以我当时还能在rank8左右徘徊，当时还挺乐观的。但万万没想到，还有双周赛这个东西，第一个双周赛就被卷没了，记得好像是掉到了16名，让我放弃了幻想。但这