比赛系列
captainqxy
这个作者很懒,什么都没留下…
展开
-
ogbn-arxiv——图结构数据集的可视化
公众号:异度侵入“规格严格,功夫到家”OGB是斯坦福开源的图神经的数据集和评测榜单,包括了节点性质预测,边的连接预测,以及小图性质的预测三种任务。近日,kdd和OGB的官方合作举办了大规模图数据上的节点分类,边连接预测以及图性质预测三个赛道的比赛。节点分类数据集160g,还在下载,使用OGB的ogbn-arxiv数据集做算法预热。01 ogbn-arxivogbn-arxiv数据集是有向图,表示arxiv网站上所有计算机相关论文引用网络。每个节点就是一篇arxiv论文,每条边都表示一篇文章引用另一篇原创 2021-03-22 21:03:44 · 4327 阅读 · 2 评论 -
使用transformers从头训练Bert
比赛数据是脱敏后得数据,所以无法用网上公开得权重去finetune,于是自己从头训练一个BERT,为什么选择用transformers,因为它实在太酷了。如果不了解transformers,请看链接所以我不想再从github上找BERT代码,还有一个原因是这次比赛中也许要预训练好多模型,所以使用transformers预训练bert模型后,花费较少成本预训练其他模型了。本次预训练模型主要解决两个问题,一个是transformer使用哪个API去预训练,一个是自己构建词典。直接放代码吧。由于代码太多,把一部原创 2021-03-03 13:32:45 · 3083 阅读 · 6 评论