【论文笔记】Heterogeneous Graph Neural Networks for Extractive Document Summarization

文章使用异质图建模句子之间的关系，并将其用于抽取式摘要，取得了优于所有对比模型的效果（本文模型和对比模型均没有使用预训练语言模型，如BERT）。

• 图的结构
  • 图中包含两类节点：词节点和句节点
  • 句节点与其中包含的词的节点相连接
  • 只有词节点和句节点之间的连接，同类节点之间不会连接
  • 是一个二分图（Bipartite Graph）
• 节点初始化
  • 词节点
    • 300维的Embedding
    • Vocabulary大小为50000
    • 使用GloVe初始化Embedding
    • 删去停用词和标点符号
    • 删去10%的在整个数据集上具有低TF-IDF的词语
  • 句节点
    • 128维向量
    • 对句子先经过（从小到大不同kernel size的）CNN，再经过BiLSTM，最后连接CNN和BiLSTM的输出作为句节点向量
  • 边
    • 50维Embedding
    • TF-IDF经L2归一化后乘9（box = 10）round到最近整数，即变换成0-9之一作为embedding index

$$GAT(H_Q,H_K,H_V):$$
Attention Score:  Z = L e a k y R e L U ( W a