文章使用异质图建模句子之间的关系,并将其用于抽取式摘要,取得了优于所有对比模型的效果(本文模型和对比模型均没有使用预训练语言模型,如BERT)。
- 图的结构
- 图中包含两类节点:词节点和句节点
- 句节点与其中包含的词的节点相连接
- 只有词节点和句节点之间的连接,同类节点之间不会连接
- 是一个二分图(Bipartite Graph)
- 节点初始化
- 词节点
- 300维的Embedding
- Vocabulary大小为50000
- 使用GloVe初始化Embedding
- 删去停用词和标点符号
- 删去10%的在整个数据集上具有低TF-IDF的词语
- 句节点
- 128维向量
- 对句子先经过(从小到大不同kernel size的)CNN,再经过BiLSTM,最后连接CNN和BiLSTM的输出作为句节点向量
- 边
- 50维Embedding
- TF-IDF经L2归一化后乘9(box = 10)round到最近整数,即变换成0-9之一作为embedding index
- 词节点
G A T ( H Q , H K , H V ) : GAT(H_Q, H_K, H_V): GAT(HQ,HK,HV):
Attention Score: Z = L e a k y R e L U ( W a [ W