论文笔记|Distantly Supervised Named Entity Recognition using Positive-Unlabeled Learning

已于 2022-12-15 01:39:20 修改
阅读量1.3k 收藏 3
点赞数 2
分类专栏： 笔记 文章标签： 自然语言处理
于 2021-05-22 09:23:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011150266/article/details/117148935
版权
该论文探讨了一种使用无标记数据和命名实体字典进行命名实体识别（NER）的正无标记（PU）学习方法。通过定义PU学习问题，论文提出了一种新的算法，能在无偏且一致的情况下估计任务损失。方法减少了对高质量词典的依赖，适用于简单的词典。实验表明，该方法在多个NER数据集上表现优于基于词典的匹配和其他PU学习方法，且对字典质量和πp的估计具有一定的鲁棒性。
摘要由CSDN通过智能技术生成

作者：任
单位：燕山大学

文章目录

论文简介

论文来源：ACL2019
论文地址
源码地址
在该论文中，研究了仅使用无标记的数据和命名实体字典，来进行命名实体识别(NER)的方法。为此，该文将任务定义为一个正无标记(positive-unlabeled, PU)学习问题，并据此提出了一种新的PU学习算法，可以无偏且一致地估计任务损失，效果如同有全标记数据。
该方法的创新点在于使用半监督的方式进行NER，它不要求词典标注句子中的每个实体，甚至不要求词典标注构成一个实体的所有单词。这大大降低了对词典质量的要求，使其能够很好地适用于非常简单的词典。

问题的引出

监督方法在NER上取得了巨大的成功。然而，监督方法通常需要大规模的细粒度注释，使得难以应用于标记较少的领域，如生物/医学领域。该论文探索了仅使用无标记数据和命名实体字典进行NER的方法。
NER很自然的方法，即使用字典扫描文本，并匹配其中的实体。然而，这种方法需要非常高质量的命名实体字典。如下图所示，若字典质量较低，则该方法效果很差
在这里插入图片描述
为了解决这个问题，一个直观的方法是使用字典标记的数据进一步进行监督或半监督学习。但是，由于它不能保证词典涵盖了一个句子内的所有实体词(实体的词)，所以不能简单地将未被词典标记的单词视为非实体词。这时，传统的监督或半监督学习算法并不适用，因为它们通常需要所有类的标注数据。

为此，该文提出将任务定义为正无标记(PU)学习问题，并引入一种新的PU学习算法来进行该任务：有标记的实体词形成正§数据，其余的形成无标记(U)数据，用于PU学习。该算法可以无偏且一致地估计任务损失，前提是标记的P数据可以揭示P类的数据分布。

由于字典只覆盖了部分实体，它不能完全揭示实体词的数据分布。为了解决这个问题，又基于AdaSampling提出了一种自适应方法来扩充字典。

预备

风险最小化

在这里插入图片描述

无偏性

这里用条件概率，证明了只需要用无标签的正例就能无偏地预测 R l R_l Rl​。 无偏性即，样本统计量的数学期望等于被估计的总体参数的值。

无偏 正-无标签学习(uPU)旨在在只有一组正例和一组无标记例时估计 R l R_l Rl​。 R l R_l Rl​也可以表示为
在这里插入图片描述
其中， π p = P ( Y = 1 ) ， π n = P ( Y = 0 ) π_p= P(Y =1)， π_n= P(Y = 0) πp​=P(Y=1)，πn​=P(Y=0)。 E X , Y = 1 l ( f ( x ) , 1 ) E_{X,Y=1}l(f(x),1) EX,Y=1​

最低0.47元/天 解锁文章
期待成功
关注
专栏目录
知识图谱de构建与应用（七）：大规模知识图谱预训练
u013250861的博客
07-16 997
知识图谱虽然包含大量有价值的信息，但通常以三元组形式的结构化数据存储，机器无法直接读取和使用。表示学习能将知识图谱中的实体和关系映射到连续空间中用向量表示，并能利用向量的代数运算，很好地建模知识图谱中的结构特征。向量表示被广泛应用在知识图谱相关任务及NLP任务上，且都取得了不错的效果。针对不同的建模任务和目标，相关工作已经提出了不同的知识图谱表示学习方法。随着GPT、BERT、XLNET等预训练语言模型在多项自然语言处理领域任务上刷新了之前的最好效果，预训练受到了各界的广泛关注。httpshttps。...
命名实体识别（Named Entity Recognition，NER）
victoriaGYR的博客
12-13 3861
  命名实体识别（Named Entity Recognition，NER）属于NLP中一个关键性基础任务，概念从字面意思上就可以理解，即识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。    从早期基于词典和规则的方法，到传统机器学习的方法，到近年来基于深度学习的方法，NER研究进展的大概趋势大致如下图所示。   在基于机器学习的方法中，NER被当作序列标注问题。利...
Distantly Supervised Named Entity Recognition using Positive-Unlabeled Learning（DS——NER识别（减少人工参与））
Hekena的博客
08-24 537
使用无标注数据和命名实体识别字典：执行该任务的自然做法是使用字典扫描查询文本，并将与字典条目列表匹配的术语视为实体。对于标注中出现的错误，一个直观的解决方案是使用字典标记的数据进一步执行监督或半监督学习。风险最小化：给定损失函数l和分类器f的基础上，计算risk值为：Y的标签空间是{0,1}，f(x)表示一个分类器。使用经验损失R^估计损失：通过损失函数最小化，更新模型参数。即argmin(R^)
Distantly Supervised Named Entity Recognition via Confidence-Based Multi-Class Positive and Unlabele
Hekena的博客
08-24 541
面向远程监督数据集中，噪声问题；面向在给定正例数据集和无标注数据集条件下，数据集label策略。（一般是在实体词典的基础上，做回标，会造成数据质量较低）在解决distant_NER，一项工作侧重于设计深度学习架构，以应对具有高误报率的训练数据，以部分减轻有缺陷的远程注释的影响（Shang 等人，2018 年；Liang 等人，2020 年）。另一项工作应用部分条件随机场 (CRF) 为未标记样本分配所有可能的标签并最大化整体概率。
（ACL2019专题)一 Distantly Supervised Named Entity Recognition using Positive-Unlabeled Learning
从网络到AI，从学术界到产业界，随着兴趣去逐梦
08-11 1650
1. 论文研读笔记 因为恰逢ACL2019召开，这段时间扫一下ACL比较有意思的文章。恰逢最近有一个命名实体识别的比赛，也就顺便看到这篇文章，感觉对于用少量标准数据进行学习的任务，会成为NLP的热点，之前看过面向关系抽取的，这次则是面向命名实体识别之类的序列标注任务。 1.1 研究动机 1.2 研究方法 标注机制 因为字典不能够保证包含句子中所有的实体单词，所以本文并没有使用传统的BIO或者BIO...
ACL2019|Named Entity Recognition using Positive-Unlabeled Learning
a609640147的博客
06-06 1984
命名实体识别（NER）是许多自然语言处理任务的基本组成部分。该领域中现有的监督方法通常需要大量标记数据。在这项工作中，作者探索了仅使用未标记数据和命名实体字典来执行NER的方法。作者将任务表示为正未标记（PU, Positive-Unlabeled）学习问题，并由此提出一种PU学习算法来执行该任务。该方法的一个关键特征是它不需要字典标记句子中的每个实体，甚至不要求字典标记构成实体的所有单词，这大大...
请查收！顶会AAAI 2020录用论文之知识图谱篇
语言智能技术笔记簿
02-23 5327
2020年人工智能顶级会议AAAI录用的知识图谱领域的研究论文已为您准备就绪，请查收！
百分点认知智能实验室：基于不完全标注样本集的信息抽取实践
Percent_bigdata的博客
03-19 245
编者按 信息抽取是从文本数据中抽取特定信息的一种技术，命名实体识别（Named Entity Recognition, NER）是信息抽取的基础任务之一，其目标是抽取文本中具有基本语义的实体单元，在知识图谱构建、信息抽取、信息检索、机器翻译、智能问答等系统中都有广泛应用。基于监督学习的NER系统通常需要大规模的细粒度、高精度标注数据集，一旦数据标注质量下降，模型的表现也会急剧下降。利用不完全标注的数据进行NER系统的建立，越来越受到专家学者们的关注。 第九届国际自然语言处理与中文计算会议（NLPCC .
知识图谱de构建与应用（一）：知识图谱概述
u013250861的博客
07-16 1066
近年来，得益于大数据的发展和云服务算力的大幅提升，使得基于全网信息、结构化客观世界的海量知识成为可能；此外，大规模结构化的知识建设，能够大幅提高互联网获取信息的效率。具体到特定行业，数字化行业知识有助于实现业务决策自动化，同时能够使得业务决策做到全局优化。正是在技术进步和工业应用的双轮驱动下，知识图谱在工业界如火如荼地建设中。当下，从整个产业来看，知识图谱大致分为通用知识图谱和行业知识图谱两大类。建设知识图谱、使用知识图谱是一个系统化的工程，涉及自然语言处理、语义网、逻辑推理等学术前沿科研课题。......
Named Entity Recognition（NER）
Sigmoid
09-24 226
NER的简单综述
Named Entity Recognition
weixin_43331679的博客
04-12 153
神经网络基础知识 Deep feedforward network 对于输入 xxx，神经网络想要找到映射 y=f(x;θ)y=f(x;\theta)y=f(x;θ)和合适的参数 θ\thetaθ，使得其预测尽量接近于真实函数 f∗f^*f∗。 前馈：所有信息都从输入 xxx 经过中间某些计算最终输出到 yyy 损失函数 NER NER问题定义 目的是找到文本中的名字并对其进行分类。有的时候很难判断一个词是不是named entity。 Window Classification 对该词再某一窗口内附近的词
Tensorflow - Named Entity Recognition
omnispace的博客
05-08 558
Tensorflow - Named Entity Recognition Each folder contains a standalone, short (~100 lines of Tensorflow), main.py that implements a neural-network based model for Named Entity Recognition (NER) usin...
开放集领域自适应OSDA（十三）：Positive-unlabeled learning for open set domain adaptation
lyy的博客
05-18 657
文章目录前言摘要1 Introduction2. Related work3. Preliminary background4. Autoencoder-based classification loss and nnPU risk5. Open-set domain adaptation as a PU problem6. Experiments6.1. Datasets6.2. Open set metrics6.3. Results结论 前言 文章来自2020年的PR letters 本文是本人开
Named Entity Recognition with Partially Annotated Training Data（ACL2019）
m0_37584687的博客
03-15 276
1. Introduction 在一些语料资源匮乏的语种中，可用的数据可能只是部分标注的（部分NE正确标注，部分NE被标注为O），如下图所示： 其中标签为NE的token可视为positive instance，标签为O的的token被视为negtive instance，被错分为O的NE就称为False Negative。本文提出了一种基于约束驱动的迭代算法（constraint-driven iterative algorithm）来学习发现噪声数据中的Negative False样例并降低他们的权重
A Unified MRC Framework for Named Entity Recognition
Jeaksun的博客
06-27 932
将NER的序列标注任务看作一项MRC任务，此方法可以引入query先验知识，对于不同类别的重叠实体回答不同的独立问题，可以解决重叠实体问题。
Named Entity Recognition for Chinese Social Media with Jointly Trained Embedding 笔记
qq_43708647的博客
03-29 365
摘要 中文NER主要针对正式文本，对于社交媒体的NER主要在英语上，本文标注了一个新的微博数据集，标注有名称和一些名词性提及 1.介绍 一个中文NER 传统是利用lexical embedding来提高NER性能，然而不像其他语言，我们不能使用自动分词来为中文单词赋值一个Embedding,这是不可信的，所以中文NER model都tag word 2.NER for Chinese Social Media 社交媒体的不正式性很明显对NLP系统造成了重大的困难，例如拼写错误，新颖的词以及非语法构造。中文也
《Distantly Supervised NER with Partial Annotation Learning and Reinforcement Learning》
qq_38244371的博客
04-27 1680
问题：早前对NER的大多数研究都集中在一组预定义的NER类型上，比如人名、地名、组织名、日期等等，提供了一定数量的标记数据来训练模型。然而，不同的应用场景需要特定的实体类型，如电子商务领域的“Brand”和“Product”，金融行业的“Company”。考虑到人工标注的高成本，为每种新的NER类型标注大量数据是不可行的，但有时可以使用小规模数据。 方法：远程监控可以为新型NER自动生成大规模的...
【论文阅读】A Unified MRC Framework for Named Entity Recognition
麦格芬230的博客
08-12 2648
一、论文摘要 （一）解决"嵌套型"的NER(Nested NER)的问题 嵌套NER，顾名思义，就是识别的实体中可能会存在嵌套的情况。比如北京大学不仅是一个组织，同时北京也是一个地点；雅诗兰黛小棕瓶是一个产品，同时雅诗兰黛是一个品牌。 （二）使用MRC阅读理解的方式做NER 相比于传统的序列标注做法，使用MRC方式做NER好处在于引入了query这个先验知识，比如对于LOC类别，我们构造这样的query：找出国家，城市，山川等抽象或具体的地点。模型通过attention机制，对于query中的国..
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值