属性抽取调研-工业界

最新推荐文章于 2023-07-05 17:34:54 发布
最新推荐文章于 2023-07-05 17:34:54 发布
阅读量1.2k 收藏 4
点赞数 2
文章标签： 聚类 算法 机器学习 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ox180x/article/details/124095596
版权

属性抽取调研——工业界

目录

1. 任务

1.1. 背景

信息抽取是从非结构化、半结构化文本中将有价值的信息转化为结构化数据的过程，在抽取的过程中，根据抽取的内容不同又分为关系抽取、事件抽取、属性抽取等。

1.2. 任务定义

属性抽取(Attribute Extraction)：属性抽取的目标是从不同信息源中采集特定实体的属性信息。比如人物实体的生日、性别、国籍等，都是它的属性信息，通过属性抽取，通过多个数据源的获取，我们就可以通过丰富的属性信息来较为完整地刻画一个实体。

1.3. 数据集

  • 目前属性抽取还没有统一的评测数据集，一般是根据不同的应用场景，对不同的数据进行抽取。

1.4. 评测标准

  • Accuracy
  • Precision
  • f1

2. 方法总结

可以划分为四类：基于无监督的抽取方法，基于依存关系的半监督的槽填充算法，基于深度学习的序列标注方法、基于元模式的属性抽取方法。

2.1. 基于无监督的属性抽取方法

2.1.1. 基于规则的槽填充算法

  • 场景：在纯文本中抽取人物属性

  • 论文：《中文人物属性槽填充技术的研究与实现》

  • 方法：通过人工编写规则针对人物场景进行属性抽取，由于人工构造规则模板比较麻烦，可以使用Bootstrapping方法生成规则。

    生成规则的步骤如下：

    1、人工置顶规则种子作为初始规则种子集Spatter，属性值集合Sattr

    2、使用规则种子集Spatter，遍历并匹配文本中的属性值，获取候选属性集合h

    3、计算候选属性值集合h中每个属性值的可行度，将可信度较高的三个属性值加入到种子属性值集合Sattr中，若收敛，则算法结束，否则，执行4

    4、使用属性值集合Sattr，遍历文本，由匹配到的属性值的上下文两个词，生成候选模板集合h’

    5、计算候选模板集合h’中每个候选模板的可信度，将可信度较高的3个候选模板加入到规则种子集合Spatter中，若Spatter收敛，则算法结束，否则执行步骤2

    重复2-5到满足一定的次数。

  • 效果：通过自动生成规则进行抽取的效果不好，准确率较低。

    2.1.2. 基于聚类的属性抽取方法

  • 场景：产品的属性抽取

  • 论文：《An Unsupervised Approach to Product Attribute Extraction》

  • 方法：

    1、数据预处理：

    找出限定性的短语和名词短语，论文认为一般属性出现在这种词语中

    2、对上一步筛选出的名词进行聚类，删除词语稍少的类

    3、从类中抽取属性：计算unigrams, bigrams and trigrams，使用作者定义的属性分数函数进行计算，得分高的则为属性。

2.2. 基于依存关系的半监督的槽填充算法

  • 场景：在纯文本中抽取人物属性

  • 论文：《中文人物属性槽填充技术的研究与实现》

  • 方法：

    依存关系：在自然语言处理中，用词与词之间的依存关系来描述语言结构的框架称为依存语法(dependence grammar)，又称从属关系语法。利用依存句法进行句法分析也是自然语言理解的重要技术之一。(来自维基百科)。

    使用这种方法对人物进行属性抽取的步骤如下:

    1、为每个属性生成对应的触发词表

    2、根据属性槽特点，识别出句子中所有可能候选属性，比如出生地的NER标注为LOC，感觉是自己设置一些规则匹配一些属性出来

    3、通过句子的依存结构，确认侯选属性与主体实体(这里是人物)的关系。将依存关系树看作一个无向图，顶点对应pagerank算法中的网页，利用pagerank算法，计算两个词在句法上的相关性。

    4、计算<动词，人名，属性词>三元组的得分，取前top4，看动词是否出现在触发词中。

  • 效果：在有触发词的句子中效果较好，在描述句式灵活且对触发词依赖小的句子中，提取性能不好。

2.3. 基于深度学习的序列标注方法

序列标注属于一种较为常用的属性抽取方法，就是将属性值看作较长的实体值，对数据进行标注，使用序列标注模型进行训练和抽取。

  • 场景：这种方法被应用于多个场景中，比如人物属性的抽取，抽取在线评论文本的属性、从无上下文信息的标题中抽取产品属性等，只要有相应的标注数据，就可以使用这种方法进行抽取。
  • 论文：《基于弱监督的属性关系抽取方法》《面向非结构化文本的开放式实体属性抽取》《实体 —属性抽取的GRU+CRF方法》《Personal Attributes Extraction in Chinese Text Based on Distant-Supervision and LSTM》《Bootstrapped Named Entity Recognition for Product Attribute Extraction》等论文中都使用了这种方法进行抽取
  • 方法：将属性抽取看作序列标注问题，标注需要花费一定的人工成本，在有些场景下，比如人物属性的抽取，可以使用百度百科等百科词条的结构化信息框进行标注，可以降低一定的人工标注成本；同时，标注时也可以使用Bootstrap方法由种子发现更多潜在属性值，这种方法在《Bootstrapped Named Entity Recognition for Product Attribute Extraction》论文中提到，是一种类似于Pakhomov 2002提出的首字母扩写算法的算法。该算法学习如何将首字母缩写与其正确扩展相关联的上下文，作者认为，分类器在经过标记的已知品牌训练集上进行训练，可以学习可以区分当前含义的上下文模式。序列标注常使用的模型：CRF模型、神经网络模型如BI-GRU+CRF模型等。
  • 效果：使用这种方法进行属性抽取的效果较为理想，但也具有一定的局限性，由于属性值的内容和形式多种多样，对于字数较长的描述性属性，这种方法不能取得理想的效果；同时，对于某些不能使用百科词条数据进行回标的情况，将花费大量的人工成本进行标注，降低了可操作性。

2.4. 基于元模式的属性抽取方法

  • 场景：这种方法可以被应用于多个场景中，不具有局限性
  • 论文：《MetaPAD-Meta Pattern Discovery from Massive Text Corpora》
  • 方法：这种方法可以在海量语料库中发现元模式，在属性抽取的场景中，可以使用这种方法发现高质量的属性描述语句，作为属性值。

3. Paper List

3.1. 论文列表

会议/年份论文链接
ACM SIGKDD International Conference 2017MetaPAD-Meta Pattern Discovery from Massive Text Corporahttps://arxiv.org/pdf/1703.04213.pdf

近几年的属性抽取论文待补充

4. 相关链接

Bootstrapped Named Entity Recognition for Product Attribute Extraction

基于弱监督的属性关系抽取方法

中文人物属性槽填充技术的研究与实现

面向非结构化文本的开放式实体属性抽取

实体—属性抽取的GRU+CRF方法

5. 参考资源

医疗健康文本的关系抽取和属性抽取

属性和实体抽取(传统方法)

ox180x
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
玩具类商品属性抽取及标准化关系建模
禅与计算机程序设计艺术
03-29 328
玩具类商品属性抽取及标准化关系建模 作者：禅与计算机程序设计艺术 1. 背景介绍 在电子商务时代,玩具类商品种类繁多,种类繁多、属性复杂是这个行业的一大特点。如何有效地抽取和标准化玩具类商品的属性信息,建立起完整的属性关系模型,是电子商务平台实现精准商品推荐和搜索排序的关键
Android(jni) 单独抽取 WebRtc-NS（音频降噪）AGC（音频增益）
09-18
博客地址：https://mp.csdn.net/article/details/100150637 Android(jni) 单独抽取 WebRtc-AGC（音频增益） 模块 Android(jni) 单独抽取 WebRtc-NS（音频降噪） 模块
spo实体关系抽取、属性抽取
qq_15821487的博客
12-22 2247
这里面针对的是一个头实体和一个尾实体一一对应的情况下，不存在一个头实体对应多个尾实体交叉的情况。 一个字符，针对同一个关系，只能被标注一次。这个关系再次出现的时候，顺延标注其他字符。 字符标签就是针对每个字符，属于的是某一个关系类别的头实体或者尾实体，或者中间值I或者其他值O，一共2N+2类别的多标签的分类，对于存在多个相同P，的独立的S和O，只要S和O是一一对应的，可以采用这样的标注策略，一个关系标注一个S和O即可，再来同一个关系，如果之前这个关系下的已经标注过了，往后推标注其他字符，这样标注出来才是意义
信号插值-抽取-采样率转换.zip
04-24
语音信号插值、抽取、采样率转换，含测试语音文件，MATLAB源代码，时域频域分析。
C#实现随机抽取名单效果-支持导入导出
04-13
C#实现人员的随机分组抽签，支持名单EXCEL导入，结果导出。
特定领域概念属性关系抽取方法研究
07-03
针对互联网中开放式中文文本关系难以抽取的问题, 提出一个新的关系抽取方法。 为缓解关系三元组抽取较难的问题, 给出一个新的基于属性和概念实例的关系三元组构造方法, 抽取的大量概念实例关系三元组中 不仅包含大量显式关系三元组 , 还包含部分隐式关系三元组。 在此基础上, 针对关系三元组含有噪声和错误的
知识提取-属性抽取-学习笔记
崔洪振367
11-13 3684
知识抽取之属性抽取学习笔记整理。
NLP学习——信息抽取
weixin_42045968的博客
02-09 1796
自动从半结构或无结构的文本中抽取出结构化信息的任务。常见的信息抽取任务有三类：实体抽取、关系抽取、事件抽取。
知识图谱 | (6) 关系抽取和属性抽取
热门推荐
sdu_hao的博客
04-04 1万+
原文地址 前言 医疗知识图谱构建离不开大量的三元组，而三元组的获取除了IS-A上下位抽取，另一项就是关系抽取。关系抽取是信息抽取领域中的重要任务之一，目的在于抽取文本中的实体对，以及识别实体对之间的语义关系。例如"弥漫性肺泡出血易合并肺部感染"中，“弥漫性肺泡出血"与"肺部感染"都是疾病，他们之间的关系是"疾病-合并症”。存在于海量医疗文本中的知识体系网络，可以为其他NLP技术（实体链接，quer...
用mysql提取特征_商品属性提取和多模搜索
weixin_32964881的博客
01-19 459
系统需求电商卖家在准备新商品资料时，需要拍摄商品照片、标注商品类别和属性。以女装为例，需要设置子类目是裙子或者衬衣，衬衣需要标注是圆领、V领、长袖、短袖、风格等多种属性。随着商品类别的增长，将积累大量的图片素材。如果这些图片素材没有被很好地管理和利用，则经常会出现找不到之前已经准备好的素材，需要重新拍摄的情况。分析型数据库MySQL版可以帮助电商卖家管理和检索图片素材，可以根据图片类别、属性或者相...
基于Python的信息检索与信息抽取系统-课程设计.rar
06-15
本项目利用Python实现了一个信息检索与信息抽取系统，包括数据、前端和后端代码。 信息检索（Information Retrieval）是用户进行信息查询和获取的主要方式，是查找信息的方法和手段。狭义的信息检索仅指信息查询（Information Search）。即用户根据需要，采用一定的方法，借助检索工具，从信息集合中找出所需要信息的查找过程。广义的信息检索是信息按一定的方式进行加工、整理、组织并存储起来，再根据信息用户特定的需要将相关信息准确的查找出来的过程。又称信息的存储与检索。一般情况下，信息检索指的就是广义的信息检索。 信息抽取 （Information Extraction: IE）是把文本里包含的信息进行结构化处理，变成表格一样的组织形式。抽取系统的输入信息是原始文本，输出的是固定格式的信息点。信息点从各种各样的文档中被抽取出来，然后以统一的形式集成在一起。这就是信息抽取的主要任务。信息以统一的形式集成在一起的好处是方便检查和比较。 信息抽取技术并不试图全面理解整篇文档，只是对文档中包含相关信息的部分进行分析。至于哪些信息是相关的，那将由系统设计时定下的领域范围而定。
篇章级事件抽取 DuEE-fin数据集
11-22
篇章级事件抽取 篇章级事件抽取任务采用DuEE-fin数据集，包含13个事件类型的1.17万个篇章。数据集分为以下5个部分： 事件类型约束：共定义了13个事件类型及其对应的92个论元角色类别。 训练集：约7000个篇章，包含...
文字表格信息抽取模型介绍——实体抽取方法：NER模型（上）
INTSIG的博客
07-01 991
导读：将深度学习技术应用于NER有三个核心优势。首先，NER受益于非线性转换，它生成从输入到输出的非线性映射。与线性模型（如对数线性HMM和线性链CRF）相比，基于DL的模型能够通过非线性激活函数从数据中学习复杂的特征。第二，深度学习节省了设计NER特性的大量精力。传统的基于特征的方法需要大量的工程技能和领域专业知识。另一方面，基于DL的模型可以有效地从原始数据中自动学习有用的表示和底层因素。第三，通过梯度下降，可以在端到端的范式中训练深层神经NER模型。该特性使我们能够设计可能复杂的NER系统。.....
(待整理)从RNN到LSTM到GRU---crf---bilstm+crf如何命名实体识别的流程
夏普通
03-25 2409
RNN&LSTM 简介 https://blog.csdn.net/mzpmzk/article/details/80548927 交叉熵 一文搞懂交叉熵在机器学习中的使用，透彻理解交叉熵背后的直觉 https://blog.csdn.net/tsyccnh/article/details/79163834 交叉熵是谁最早提出和应用的？ http://blog.sciencenet.cn/...
深度学习----命名实体识别与关系抽取总结
樱花落瓣
02-22 6389
参考：https://blog.csdn.net/qq_36426650/article/details/84668741#t6 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;~~~~~~~~~~&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&
关系抽取全面总结：五大类实体关系三元组抽范式模型总结
zenRRan的博客
12-08 6287
每天给你送来NLP技术干货！来自：老刘说NLP点击这里进群—>加入NLP交流群本文将围绕文本关系抽取概述与常见问题，从基于标注的抽取方法、基于片段的抽取方法、基于填表的方法、基于阅读理解的抽取方法以及基于生成的抽取方法五个角度进行介绍，大家一起参考。一、文本关系抽取概述与常见问题文本关系抽取的研究工作本身可以划分为很多类别，根据抽取的文本范围以划分为句子级关系抽取、文档级关系抽取和语料级关系...
chatgpt实现NLP基本任务（实体识别、关系抽取、属性抽取、事件抽取、文本分类）
m0_46275020的博客
07-05 5543
chatgpt实现NLP基本任务（实体识别、关系抽取、属性抽取、事件抽取、文本分类）
MetaPAD: 从大量文本语料库中发现元模式
qq_34246547的博客
06-18 1708
MetaPAD: Meta Pattern Discovery from Massive Text Corpora 背景 传统的文本序列挖掘方法已经公开了大量的序列集合，但是很少有方法能够提取出具有语义类型的任意序列。 Hearst patterns使用诸如“NP such as NP, NP, and NP”挖掘上下为关系;TextRunner和ReVerb对其词汇模式中的类型信息一无所知；NELL[8]学习基于一组固定的预设关系来提取名词短语对，这些关系具有实体类型：如country:president
实体识别 关系抽取 属性抽取的顺序
最新发布
07-11
通常情况下，实体识别、关系抽取和属性抽取是相互依存的过程，它们的顺序不是固定的，取决于具体的任务需求和数据情况。以下是一些常见的顺序： 1. 实体识别 -> 属性抽取 -> 关系抽取：先识别出实体，再从实体中...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值