bert pytorch 序列标注_Transformer-based-pretrained-model-for-event-extraction: 使用bert/gpt2/albert/xlm/ro...

Transformer-based-pretrained-model-for-event-extraction

使用bert/gpt2/albert/xlm/roberta等预训练语言模型在ace2005上进行事件抽取任务。 代码在nlpcl-lab / bert-event-extraction框架上修改，使用pytorch 的transformer和crf模型替换了原项目的模型构建部分。 模型整体采用序列标注的方式，未使用任何辅助信息。 先用crf做触发词识别，再根据触发词识别结果再用crf进行论元识别，预训练模型选用xlm-roberta-large时，trigger-f1=0.72; argument-f1=0.45。argument提升了0.05。

[trigger classification]P=0.677R=0.754F1=0.713

[argument classification]P=0.588R=0.384F1=0.464

[trigger identification]P=0.723R=0.805F1=0.762

[argument identification]P=0.617R=0.403F1=0.488

超参如下

==================== 超参 ====================

PreTrainModel = ['Bert_large', 'Gpt', 'Gpt2&