关系抽取常用的数据集和工具

参考文献:张春云. 实体关系抽取算法研究[D]. 北京邮电大学, 2015.

数据集:
1.MUC关系抽取任务数据集
MUC-7的五大评测任务分别是命名实体识别、共指消解、模板元素填充、模板关系确定和场景模板填充。数据语料主要来自新闻语料,限定领域为飞机失事报道和航天器发射事件报道。

2.ACE关系抽取任务数据集
MUC会议停开后,ACE将关系抽取任务作为一个子任务从2002至2007年共持续六年。关系抽取任务也被定义的更加规范和系统。其中,获得认可的一届关系抽取任务主要是ACE-2004,其数据来源于语言数据联盟(LDC),分成广播新闻和新闻专线两部分,总共包括451和文档和5702个关系实例。ACE20014提供了丰富的标注信息,从而为信息抽取中的实体识别、指代消解和关系抽取等子任务提供基准的训练和测试语料库。

3.TAC-KBP数据集
TAC会议下的KBP评测下的ESF任务,可以视作是传统的关系抽取任务。该任务主要是抽取关于PER的25中属性和ORG的16中属性。主要是使用维基百科快照作为现有的知识库,从现有的新闻或者网络文本中获取关于实体的现有信息和更新信息,以构建知识库。

工具:
1.Standford CoreNLP 自然语言处理工具包,能实现对自然语言文本的文本分析,包括词形还原,词性标注、命名实体标注、共指消解、句法分析以及依存分析等功能。

2.自然语言工具包(Natural Language Tookit,NLTK)
基于脚本语言Python的自然语言处理工具包,该工具包集成了一些文本处理技术,例如中文分词、词形还原、文本分类等,并涉及50多种语料和字典的交互界面。

3.OpenCCG
指开放式自然语言CCG文库,基于Java的开源自然语言处理文库,能够实现基于Mark Steedman的组合的范畴语法形式为主的文本解析,包括句法分析和依存分析。

评测标准:
精准率、召回率和F值

  • 0
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
【资源介绍】 基于Python的中文信息实体抽取、关系抽取、事件抽取源码+数据集+训练好的模型+项目说明.zip 数据、预训练模型、训练好的模型下载地址: 链接:https://pan.baidu.com/s/1TdJOF7vjLw4caE1SkZEZGA?pwd=gdpq 提取码:gdpq 每一个代码里面都有训练和验证,并新增了预测功能,只需要修改do_train和do_predict即可。执行代码: ```python python xxx_ner/re/ee.py ``` 依赖 ``` pip install keras==2.2.4 pip install bert4keras==0.10.6 pip install tensorflow-gpu==1.14.0 pip install h5py==2.10.0 ``` 实体抽取 主代码在ner下,数据在data/ner/china-people-daily-ner-corpus/下。ner的结果没有保存,自行预测保存即可。 bert-crf ``` maxlen = 256 句子最大长度 epochs = 10 训练的epoch batch_size = 32 batchsize大小 learning_rate = 2e-5 学习率 crf_lr_multiplier = 1000 必要时扩大CRF层的学习率,crf层的学习率要设置比bert层的大一些 test_f1:0.94876 valid_f1:0.95438 ``` globalpointer ``` maxlen = 256 epochs = 10 batch_size = 32 learning_rate = 2e-5 test_f1: 0.95473 valid_f1: 0.96122 ``` 关系抽取 这里需要安装最新版的bert4keras==0.11.3。这里我只训练了一个epoch,因此将优化器改为了Adam。主代码在re下,数据在data/re/duie/下。 更多详情见项目说明!!!! 【备注】 该项目是个人毕设/课设/大作业项目,代码都经过本地调试测试,功能ok才上传,高分作品,可快速上手运行!欢迎下载使用,可用于小白学习、进阶。 该资源主要针对计算机、通信、人工智能、自动化等相关专业的学生、老师或从业者下载使用,亦可作为期末课程设计、课程大作业、毕业设计等。 项目整体具有较高的学习借鉴价值!基础能力强的可以在此基础上修改调整,以实现不同的功能。 欢迎下载使用,也欢迎交流学习!
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值