[论文阅读笔记66]R-BERT

1. 基本信息

题目	论文作者与单位	来源	年份
Enriching Pre-trained Language Model with Entity Information for Relation Classification	Shanchan Wu Yifan He Alibaba Group (U.S.) Inc	CIKM	2019

R-BERT
128 Citations, 32 References

论文链接：https://arxiv.org/pdf/1905.08284.pdf

论文代码：https://github.com/monologg/R-BERT [非官方]

2. 要点

研究主题	问题背景	核心方法流程	亮点	数据集	结论	论文类型	关键字
关系抽取	基于bert出关系抽取；	序列重组合，然后分断，最后再组合。	模型把实体级信息加入到预训练中来完成任务。 在第一个实体周围加入‘$’，在第二个实体周围加入‘#’，用这两个符号标识实体位置； 使用了’[CLS]'中的句子信息；	SemEval-2010 Task 8	方法简单具有效，在工程的使用是不错的。 取得SemEval-2010 task 8上的state-of-the-art.		bert, Relation classifification

3. 模型(核心内容)

3.1 模型

1. 对于序列s, 在句子前面加入’[CLS]’, 在第一个实体加入’$’, 在第二个实体加入’#’.
2. 对于两实体进行平均计算（H1，H2）：

3. 对于‘[CLS]’，加入了一个激活与全连接操作：

W0,W1,W2有相同的维度(d*d,d为Bert隐含层状态大小).

4. 把三类信息concat起来，再输入一个全连接网络：

W3的大小为L*3d. 其中L表示关系类型数。p为概率输出。

5. 采用交叉熵作为损失函数，在每个全连接层前加入dropout.

4. 实验与分析

4.1 数据集

1. SemEval-2010 Task 8;

2. 包括10类：Cause-Effect, *Component-Whole, Content-Container, Entity Destination, Entity-Origin, Instrument-Agency, Member-Collection,

   Message-Topic ，Product Producer， Other

3. 10,717 sentences；

4. 关系有方向性的；

4.2 训练参数

4.2 结果

对比实验：

消融分析：

BERT-NO-SEP-NO-ENT： 不加特殊分隔符（“$”,"#"），也不加入‘[CLS]’信息； F1==- 8.16==；

BERT-NO-SEP: 不加特殊分隔符（“$”,"#"）;

BERT-NO-ENT: 不加入‘[CLS]’信息;

5. 代码

无

6. 总结

6.1 优

​ 简单有效的方法。

6.4 不足

​ 其它种类的消融是否可以考虑一下。

7. 知识整理（知识点，要读的文献，摘取原文）

​ 无

8. 参考文献

【1】bert关系抽取之R-BERT：Enriching Pre-trained Language Model with Entity Information，https://blog.csdn.net/xiaowopiaoling/article/details/105679350

made by happyprince