【用于KGC的上下文LM：Contextual Language Models for Knowledge Graph Completion阅读笔记】

《用于KGC的上下文LM：Contextual Language Models for Knowledge Graph Completion》阅读笔记

关键词/用到的模型或方法：GPT-2；三元组分类；Transformer架构的decode；用GPT-2仿KG-BERT，但任务只有三元组分类且结果不如KG-BERT；

文章概况

团队

FIZ/AIFB

发表期刊/会议

ECML-PKDD(CCF-B类会议)2021

0 摘要

1. 背景：KG incpmplete and inconsistent
2. 解决的问题：使用NLMs解决KGC
3. 解决思路：GPT-2 based KGC模型；将三元组分类视作序列分类问题
4. 具体方法：从三元组分类的GPT-2模型微调中获得了初步结果

1 介绍

受KG-BERT的启发，本文研究基于GPT-2的KGC模型，以三元组分类为子任务。
将KG中三元组视作句子并将三元组分类视为序列分类问题

2 相关工作

基于嵌入的方法–>添加结构信息–>添加文字信息(连续词袋法和深度CNN网络）–>使用PLM基于任务的finetune
contextual NLMs：结合上下文信息的神经网络的建模语言

3 预备知识

3.1 LM

基于文本语料学习word出现的概率。

1. Statistical LM（SLMs）：基于统计学的方法，使用统计概率来建模语言。基于n-gram的方法，给定前面n-1个单词的抢矿下预测下一个word，为n words分配概率, 序列的概率是一系列条件概率的乘积。无法为训练中没出现的语料分配概率，维度限制了在大规模语料上的训练。
   
2. Neural LM（NLMs）：基于神经网络的语言模型（RNN,LSTM,Transformer架构），将单词的分布式表示学习到连续的地位向量空间。这些模型通过学习单词之间的复杂关系和上下文信息，能够更好地捕捉语言的结构。灵活建模上下文，不仅仅依赖前面固定数量的单词。端到端的训练，参数量大。

3.2 KGC

三元组分类任务：真1假0

4 方法

GPT-2是一个大规模的transforme-basedLM，在文本语料中的根据之前的words预测next word。注意力机制有选择地关注输入文本的片段。包括12层解码的transformer，12个masked 自注意heads，Adam优化。
BERT使用编码块，GPT-2使用解码块

输入序列考虑实体名字和相关描述。由解码器块组成，第一个二词嵌入的上下文向量初始化为0