BERT微调—关系分类任务

概念

关系分类任务就是从非结构化文本中抽取出结构化知识；具体为：区分出头实体与尾实体之间的语义关系，比如：

给两个实体，判断关系

如何实现

方法一：
将句子输入到BERT模型中，然后分别拿到头实体与尾实体的向量表征（实体多个词的表征经过pooling得到），然后将头尾实体向量拼接，再经过线性层分类

将两个实体，经过编码器编码后，输入线性层进行分类

方法二：
BERT的embedding层中加入关系位置编码。在方法一的基础上加上关系位置编码，告诉BERT模型何处为头实体何处为尾实体。

方法三：
在句子中加入新定义的字符(unusedtoken)，标识出头尾实体位置；

---

感觉都是，只用两个实体的编码后的向量就好了，唯一的区别在于如何告知计算机，哪个是头实体，那个是尾实体。