NLP-关系抽取方法

目录

一、基于规则

1.举例

2.优缺点

二、监督学习

1.准备工作

2.使用分类模型训练

三、半监督

1.bootstrap

2.bootstrap(snowball)


一、基于规则

目前基于规则是主流并且见效快的方法。

1.举例

提取具体的水果名字

规则:apple is a fruit, fruit such as apple, fruit including banana

以上的is a, such as, including都可以帮助我们找到水果这一类下面的具体的水果名字,像这样的规则我们可以定义非常多,只要文章中出现了规则,那么就可以把对应的数据放到库中。

比如文章中出现:...... apple is a fruit.....

先用实体识别分类器把实体识别出来,发现中间正好是is a ,那么把这两个实体放到数据表里。

中间可能会有不同类型的内容,因为我们定的只是规则,而没有其他条件过滤掉比如“car”,因此需要在规则集上面,定义规则的类别。

2.优缺点

基于规则的方法的优点:准确、不需要训练数据

基于规则的方法的缺点:召回率低(人能想到的关系少),人力成本高,规则本身难设计

二、监督学习

1.准备工作

①定义关系类型

②定义实体类型

③训练数据准备:实体的类型标记、实体之间的关系标记

④特征工程,可以使用:

bag-of-words

词性

实体类别

stemming

位置相关的信息特征:两个实体间包含了多少个单词?这句话在本文里的位置?

句法分析相关特征:两个词节点之间最短路径(使用树结构画出来语法的分析,可能需要图算法去提取特征)

依存文法相关特征:最短路径,是否相互依存等

据说上面的句法分析和依存文法分析效果一般。

2.使用分类模型训练

由于在分类的类别中,除了我们需要的分类,还可能会有一类“不属于任何类别”,因此我们可以将训练分为两部分,先使用一个简单的二分类器,把数据分为有类别和无类别,之后再进行分类。

三、半监督

1.bootstrap

首先在库中准备一个表格,包含几条真实的,正确的样本记录。

①基于样本,生成规则:

给定文本,根据库中的数据,如果匹配到了,那么文本中,两个实体中间的内容就可以作为规则,比如:

x写了y

y是由x写的

②生成三元组

有了上面生成的规则之后,给定新的文章,扫描是否有存储的规则,如果匹配上了对应的规则,那么就把规则左右的实体,填入到记录表中,作为新的记录。

③重复上两步

使用新的记录继续扫描文章,生成新的规则,使用新的规则,扫描文章,生成新的记录。

④bootstrap的关键缺点:

错误累积:当开头出现误差的时候,后面由于自动去生成,会慢慢误差越来越大。

于是提出了改进版:snowball

2.bootstrap(snowball)

见下一篇文章

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值