【论文阅读】Named Entity Recognition in the Style of Object Detection

最新推荐文章于 2022-03-06 16:38:25 发布
最新推荐文章于 2022-03-06 16:38:25 发布
阅读量205 收藏
点赞数
分类专栏： 论文阅读 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/li_jiaoyang/article/details/113345911
版权
该博客介绍了如何将目标检测的思想应用于命名实体识别（NER）任务，通过预测实体区域和分类来实现。模型结构包括预测实体的开始和结束、实体分类，并在训练时采用特定策略增强模型的鲁棒性。在推理阶段，根据概率阈值判断实体并分类。
摘要由CSDN通过智能技术生成

来自微软
作者没有贴代码链接

借用了计算机视觉中两阶段目标检测的思想和它们如何构造损失函数的方法。

模型架构

1. 预测实体区域

在这里插入图片描述
预测实体的开始和结尾。

结构很简单，bert出来一个线性层，预测开始和结尾。使用的交叉熵损失。

作者对预测的过长实体直接丢弃，并在论文里对丢弃的实体道歉？

2. 实体分类

仍然用的bert，这阶段有2个任务：

  • 实体损失
  • 实体类型分类损失

在这里插入图片描述
α \alpha

最低0.47元/天 解锁文章
今天NLP了吗
关注
专栏目录
社交媒体中的表情符号结合大数据 AI 的研究 Analyzing Emoji Use in Social Media Posts Insights
AI天才研究院
08-07 1656
在社交媒体中，由于使用了表情符号表述自己的情感，使得用户对某类产品或服务表达出的态度更加直观、生动。在这一领域，研究人员需要收集和分析社交媒体上的文字和图片数据，以此探索用户对于 popular emojis 的态度倾向及其产生的影响。此研究项目由微软亚洲研究院合作伙伴 Trinea Institute of Technology Research Labs 和 Emotibot 团队联合主办。Emotibot 是一种基于 AI 技术的自然语言处理工具，旨在将复杂的语言表达式转换为易于理解的文本特征。
CVPR2021 用更好的目标检测器提取视觉特征！微软提出VinVL，基于更好的视觉特征，达到更强的多模态性能...
我爱计算机视觉
10-16 1279
关注公众号，发现CV技术之美0写在前面本文详细研究了视觉语言（VL）任务中更好的视觉表示，并开发了一种目标检测模型，来提供以对象为中心的图像表示。与最广泛使用的bottom-up and ...
最新！CVPR 2021 视觉Transformer论文大盘点（43篇）
阿木寺的博客
05-31 7524
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达作者：Amusi | 来源：CVer前言从2020下半年开始，特别是2021上半年，Visual Transform...
Recognizing software bug-specific named entity in software bug repository
易山川的博客
09-18 250
Recognizing software bug-specific named entity in software bug repository 主要内容： 考虑在软件bug领域下如何进一步识别bug命名实体 给bug做一个分类，并考虑到叠加关系的情况（通过general，component，special进行区分） 模型并没有多大的创新，使用了CRF+Skip-gram 整体流程如下图： ...
多模态预训练模型综述
Kaiyuan_sjtu的博客
02-09 1万+
前言2021年诺贝尔生理学、医学奖揭晓，获奖者是戴维·朱利叶斯（DavidJulius）和阿代姆·帕塔博蒂安（Ardem Patapoutian），表彰他们在“发现温度和触觉感受器”方面作...
深度学习算法简要综述(下)
AI 算法笔记
03-25 1609
点击上方“算法猿的成长“，关注公众号，选择加“星标“或“置顶”总第 124 篇文章，本文大约 3731 字，阅读大约需要 10 分钟原文：https:/...
[论文笔记]ACL2021 Locate and Label: A Two-stage Identifier fo Nested Named Entity Recognition
beihai2013
02-11 751
2022/2/10 ACL2021 Locate and Label: A Two-stage Identifier fo Nested Named Entity Recognition 懒得粘图了，参考我的知乎https://zhuanlan.zhihu.com/p/466385935 1 摘要&介绍 当前的NER任务只能应对flat实体，不能应对嵌套（nested）实体。而能应对嵌套实体的模型，也有着高额计算指出、忽略边界信息、文段（span）利用率低的问题。 针对以上困难，文章提出了一个2阶段
2月跨模态（图片-文本）论文粗览
weixin_42636127的博客
02-22 1890
AAAI2021跨模态（图片-文本）论文粗览总体情况《A Case Study of the Shortcut Effects in Visual Commonsense Reasoning》《Simple is Not Easy: A Simple Strong Baseline for TextVQA and TextCaps》《Commonsense Knowledge Aware Concept Selection For Diverse and Informative Visual Storyte
一周新论文 | 2020年第13周 | 自然语言处理相关
语言智能技术笔记簿
03-29 3873
《一周新论文》系列之2020年第13周：自然语言处理相关
Object Detection︱RCNN、faster-RCNN框架的浅读与延伸内容笔记
素质云笔记
01-22 9499
一、RCNN，fast-RCNN、faster-RCNN进化史本节由CDA深度学习课堂，唐宇迪老师教课，非常感谢唐老师课程中的论文解读，很有帮助。 .1、Selective search 如何寻找有效的候选框，最开始的就是这个方法。 寻找方法就是一开始把一幅图像，分割成无数个候选框构造而成的（convert regions to boxes） 然后根据一些色彩特征、把候选框进行融合，框数量变
《LD：Localization Distillation for Object Detection》论文笔记
m_buddy的博客
12-19 1314
参考代码：LD 1. 概述 导读：这篇文章研究的是检测场景下的知识蒸馏方案。在该场景下的蒸馏有采取直接将对应特征图匹配到对应维度之后做特征图差异最小化，也有使用Teacher输出的GT作为引导排除大量背景等无关信息的。在这篇文章中参考和借鉴了在原分类网络中做蒸馏的思想，也就是在网络输出概率分布软化之后做蒸馏。因而这篇文章就使用到GFocal的边界框回归方案，这样就可以直接在输出的概率分布上做蒸馏，从而避免了Teacher和Student网络结构不对应带来的匹配问题，因此更加灵活。在实际进行蒸馏的时候文章指
AI领域优秀开源项目分享：Bert语言训练、轻量级物体检测模型等
niuyunpang的博客
07-26 517
文末彩蛋：七月在线干货组最新升级的《2021大厂最新AI面试题 [含答案和解析, 更新到前121题]》免费送！ 项目一：FinBERT基于 BERT 架构的金融领域预训练语言模型 项目地址： https://github.com/valuesimplex/FinBERT 为了促进自然语言处理技术在金融科技领域的应用和发展，熵简科技 AI Lab 近期开源了基于 BERT 架构的金融领域预训练语言模型 FinBERT 1.0。这是国内首个在金融领域大规模语料上训练的开源中文BERT预训练模型。相对于Googl
多模态机器学习基础、应用及预训练模型介绍
小白胖爱学习-的博客
03-06 8454
早在公元前四世纪，哲学家和艺术学家提出了多模态的概念，用以定义融合不同内容的表达形式与修辞方法。在当今大数据时代，我们说数据是多源异构的： 多源：数据持有方多样化。比如数据来源于问卷调查、GPS追踪、手机定位、用户使用习惯等 异构：数据类型特征差异化。比如统计局每年统计的各类表格数据，以人或地区为点，聚合不同信息的结构化数据，比如以文本、图像、影像、语音为代表的需要分析处理的非结构化数据，比如地理信息、轨迹等时空数据。 在深度学习盛行的今天，单一形态的数据已经不足以完成一些困难的任务，而多模态机器学习方
bert实践:关系抽取解读
热门推荐
爱吃火锅的博客
07-31 5万+
前言 bert模型是谷歌2018年10月底公布的，反响巨大，效果不错，在各大比赛上面出类拔萃，它的提出主要是针对word2vec等模型的不足，在之前的预训练模型（包括word2vec，ELMo等）都会生成词向量，这种类别的预训练模型属于domain transfer。而近一两年提出的ULMFiT，GPT，BERT等都属于模型迁移，说白了BERT 模型是将预训练模型和下游任务模型结合在一起的，核心...
【论文阅读】Joint Entity and Relation Extraction with Set Prediction Networks
li_jiaoyang的博客
01-16 3185
作者提供的代码链接404了，https://github.com/DianboWork/SPN4RE 目前在NYT和WebNLG上都是SOTA https://paperswithcode.com/task/relation-extraction 1.编码器 用bert 2.三元组非自回归解码器 PL代表句子可能包含的三元组个数，论文中统一设置为m个，m大于所有句子包含的三元组个数。 代表某个三元组Yi，不仅和给定的句子X有关系，而且与其他某个三元组Yj有关系。 使用transformer作为解码.
SCIERC数据集解析
li_jiaoyang的博客
12-20 2911
数据集样例 六种实体类型 Task, Method, Metric,Material, Other-ScientificTerm and Generic 七种关系类型 Compare, Part-of, Conjunction, Evaluate-for, Feature-of, Used-for, HyponymOf { "clusters": [ [ [ 6, 11 ], [ 21,
【论文阅读】句向量总结、文本相似度计算
li_jiaoyang的博客
04-28 2693
句向量 不定长的句子用定长的向量表示，为NLP下游任务提供服务。 对于word embedding，训练完以后每个词对应一个向量，可以直观地判断embedding的好坏。 但是，对于sentence embedding，它的评测是没有ground truth的。只能将sentence embedding送入下游任务，根据在下游任务的表现来评测其质量。 换句话说，其实不存在单独的sentence embedding算法，只有嵌入在NLP系统中的sentence embedding模块。 应用 语义搜索：通过
DocRED数据集解析
li_jiaoyang的博客
01-11 2222
github地址 国内下载链接训练集、验证集、测试集 国内下载docred其他内容 { 'title', 'sents': [ [word in sent 0], [word in sent 1] ] 'vertexSet': [ [ { 'name': mention_name,
【论文阅读】Document-Level Relation Extraction with Reconstruction（AAAI2021）
li_jiaoyang的博客
01-07 2107
作者提供的代码 2021 AAAI 提出，没有关系的实体对会影响编码器的attention效果。 创新： 将更多的注意力放在有关系的实体对上，对路径重构。 重构方法最常用在神经机器翻译NMT上，解决翻译不够充分的问题。作者证明了用在DocRE效果也很好。 1. 异构图构建 假设一个文档有L个句子，每个句子有J个词。使用BILSTM对其进行编码。如上图所示，异构图包含提及结点、实体结点、句子结点。作者在指向相同实体的不同提及之间，还加了Mention-Coreference边。 2.编码器 使用图注意力网.
mect: multi-metadata embedding based cross-transformer for chinese named entity recognition
最新发布
04-12
A：「b'mect: multi-metadata embedding based cross-transformer for chinese named entity recognition'」是一篇关于中文命名实体识别的论文，提出了一种新的算法来提高命名实体识别的准确率和效率。论文中提出的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值