【2021】论文阅读笔记

2021年1月

Image Transformer

• 文章链接
• 我的理解

1. 用源自于NLP的Transformer作为生成模型，逐步生成图片像素
2. 用multi-head attention实现并行生成像素，减少像素间依赖性来提升速度
3. 序列化生成类似于Graph Recurrent Attention Network（链接），不过Image Transformer是生成像素的RGB值，GRAN是生成图的结点与边

2021年2月

FastGAE

• 文章链接
• 我的理解

1. 用生成子图来替代具有$O(n^2)$时间复杂度的解码操作
2. 度数低的“不重要”的结点可以忽略，并通过实验证明采样时关注高度数结点会效果更好
3. 每一步对生成的子图进行计算损失，并更新参数。

2021年3月

GCPN

• 文章链接
• 我的理解

1. 将分子图生成过程建模为马尔科夫决策过程（即每一个状态从上一个状态转移过来，与更早的状态无关。公式表示：$S_n=P_{transition}\times S_{n-1}$，其中$P_{transition}$为状态转移矩阵，$S_i$为时间点$i$时的状态。)
2. Link Prediction过程可以直接用Embedding concatenation + MLP，输出的值通过softmax来得到生成边的概率(softmax可以用于从单键双键π键等多种边选出最有可能的边)
3. 训练过程分为Expert Pretraining + Adversarial Training。简而言之就是先学习重构原图，然后通过对抗训练来学习生成新图。

LSTM-RGCN

• 文章链接
• 我的理解

1. 将隔夜事件建模为向量（这里用LSTM对文本进行编码）
2. 用历史股价走势建模股价关系图（文中没解释如何获得的股价关系图）
3. 用GCN来预测开盘价的高低，其中分别对每一种relation使用一个GCN来传递消息，即Relation-GCN（RGCN）

• 灵感：历史股价走势如何建模成关系图？

2021年4月

MHN

• 文章链接
• 我的理解

1. HAN是将各个semantic的邻居结点信息进行聚合；而MHN是将各个Meta-path的邻居信息进行聚合
2. 在得到所有meta-path的信息之后，利用attention-mechanism进行元路径之间的聚合
3. 得到的embedding可以用于提升下游任务的精度

• 灵感：在股价预测方面如何建模meta-path？

ID-GNN

• 文章链接
• 我的理解

1. 问题定义：原始GNN的computational graph无法分辨自己的位置，这直接导致了gnn无法预测clustering coefficient；通过将identity-matrix作为node features可以解决这一identity问题，但是其无法进行图上的inductive learning。
2. 问题方案：对节点进行上色，故在computational graph中可以分辨出自己的位置；提出fast-id-gnn方案，使该机制便于插入已有的gnn中
3. 实验验证：基于合成数据集和真实世界数据集，从node，edge，graph三个角度出发，继承并设计新的gnn的实验，并进行基于预测精度和效率的extensive experiments，来证明id-gnn对gnn的提升。

• 灵感：ID如果直接conditioning到股票结点Embedding上，能否提升股价预测的效率？