文章目录
An Improved Baseline for Sentence-level Relation Extraction
在关系分类的多个sentence中添加marker,起到一定的提示作用,比较了不同marker前提下,模型在关系分类任务中的表现。
1entity mask
这种技术引入了新的特殊标记[SUBJ-TYPE]或[OBJ-TYPE]来掩盖原文中的主体或客体实体,其中TYPE被替换为各自的实体类型。
2 entity marker
该技术引入了特殊的标记对[E1]、[/E1]和[E2]、[/E2]来包围主体和对象实体,因此将输入文本修改为“[E1]SUBJ[/E1]…[E2]OBJ[/E2]”的格式
3 Entity marker (punct)
此技术是前一种使用标点符号包围实体跨度的技术的变体。它将输入文本修改为“@SUBJ@…#OBJ#”。与前一种技术的主要区别在于,这种技术没有将新的特殊标记引入到模型的保留词汇表中
4 Typed Entity marker (punct)
类型实体标记(钟和陈,2021)。该技术进一步将NER类型合并到实体标记中。它引入了新的特殊标记hS:TYPEi、h/S:TYPE、hO:TYPEi、h/O:TYPEi,其中TYPE是命名实体标记器给出的相应NER类型。输入文本相应修改为“hS:TYPEi SUBJ h/S:TYPE…hO:TYPEi OBJ h/O:TYPE1”
5 Typed entity marker(punct)
我们提出了一种类型化实体标记技术的变体,它标记实体跨度和实体类型,而不引入新的特殊标记。这是为了分别用“@”和“#”关闭主题和对象实体。我们还使用标签文本表示子主题和对象实体类型,标签文本位于实体跨度之前,并用“*”表示主题或“∧” 对于对象。修改后的文本为“@sub-typesubj@…#∧ 对象类型∧ OBJ#“,其中sub-type和OBJ type是NER类型的标签文本
实验结果
在实验复现中,需要考虑wandb工具的使用,在terminal中输入:wandb init
然后徐打开网址后,复制对应的key,
复制之后,直接按enter即可,复制的key不会在终端中显示。
实验记录*自己测试
加了entity marker [E1]和[\E1]之后,在16shot条件下的测试结果。
在tarred数据集上:
epoch:49,loss:0.01703166402876377
epoch:49,loss:0.015437326394021511
{'dev_f1': 27.853777169782646}
{'test_f1': 24.800321783600527}
在retacred数据集上:
wandb: dev_f1 45.16057
wandb: loss 0.00817
wandb: test_f1 44.56357