Raki的读paper小记：Bipartite Flat-Graph Network for Nested Named Entity Recognition

最新推荐文章于 2023-10-25 10:00:51 发布
最新推荐文章于 2023-10-25 10:00:51 发布
阅读量759 收藏
点赞数
分类专栏： NLP 读paper 文章标签： 深度学习 人工智能 自然语言处理 神经网络 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Raki_J/article/details/122832297
版权
读paper 同时被 2 个专栏收录
83 篇文章 5 订阅
订阅专栏
NLP
82 篇文章 10 订阅
订阅专栏
本文介绍了一种创新的嵌套命名实体识别模型BiFlaG，它利用双向图结构考虑内外层信息交互，通过GCN学习内部实体表示并反馈至平面模块。实验结果显示，BiFlaG在SOTA上取得显著优势。模型结构包括平面BiLSTM-CRF和图模块的Bi-GCN，以及图卷积和双向传播策略。
摘要由CSDN通过智能技术生成

Abstract & Introduction & Related Work

  • 研究任务
    嵌套NER
  • 已有方法和相关工作
  • 面临挑战
    1. 已有的模型只考虑从最内层到外层的信息的单向传递
  • 创新思路
    1. 双向考虑了内外层子图之间的信息交互
  • 实验结论
    sota
    在这里插入图片描述

Model

首先给出模型总览图

外层使用BiLSTM + CRF来抽取平面实体，并将抽取出来的特征构成一个图 G 1 G^1 G1

对于图模块，我们使用GCN，它在潜在实体的起点和终点节点之间迭代传播信息以学习内部实体。最后，从图模块学到的表征被进一步反馈到平面模块，以获得更好的最外层预测。
在这里插入图片描述

Token Representation

首先把word embedding和 char embedding concat起来，然后丢到一个BiLSTM里面得到序列信息，把输出的新特征丢到接下来的模块里面

Flat NER Module

一个BiLSTM + CRF 没什么好说的

Graph Module

Graph Construction

图一就是一个团

图二就是…从node0到nodeN的一个有向图

Bi-GCN

给出一个图G， 和它的节点，图特征由 Bi-GCN来学习
在这里插入图片描述
通过下面公式得到两个图的汇聚特征
在这里插入图片描述
在得到每个节点的特征后，通过一个两层的fc，最后经过一个softmax来得到实体得分
在这里插入图片描述
对于内部实体，使用交叉熵来计算损失
在这里插入图片描述

BiFlaG Training

公式（7）中的实体得分M带有句子中每个词对的类型概率。为了进一步考虑从内部实体到外部实体的信息传播，我们使用 B i − G C N Bi-GCN Bi−GCN 从实体得分M中为平面模块生成新的表示。词对 ( t i , t j ) (t_i , t_j) (ti​,tj​) 的最大类型得分 r i j r_{ij} rij​ 表示这个span是实体还是非实体，以及作为这种类型的置信度，由最大汇聚得到

在这里插入图片描述
构建出一个新的图 G 3 G^3 G3 ， r i j ∈ E r_{ij} \in E rij​∈E

第一部分由平面模块构成
在这里插入图片描述
第二部分由新图上做双向图卷积得到
在这里插入图片描述
得到最终表示
在这里插入图片描述
新的表示丢到平面模块来更新参数并且抽取更好的外部实体

外部损失由两个CRF构成
在这里插入图片描述
整个算法的流程
在这里插入图片描述

Loss Function

总的损失函数，其中 λ 2 λ_2 λ2​ 是平面模块和图形模块的损失之间的权重。在训练阶段，我们将这一总损失降到最低
在这里插入图片描述

Experiment

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Conclusion

我们的BiFlaG模型也可以通过简单地移除图模块来处理非嵌套结构。就相同的严格设置而言，实证结果表明，我们的模型普遍优于以前的sota

Remark

应用了图结构，感觉整体中规中矩，没啥亮点，或许一定程度上证明了应用图结构的有效性？

爱睡觉的Raki
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
论文笔记 Bipartite Flat-Graph Network for Nested Named Entity Recognition | ACL2020
weixin_41297561的博客
09-14 1169
论文作者： 论文链接：https://arxiv.org/pdf/2005.00436.pdf Abstract 作者为嵌套命名实体识别（nested NER）提出了新颖的二部平面图网络（bipartite flatgraph network, BiFlaG），它包含两个子图模型：针对最外层实体的非嵌套NER模型与针对位于内层的全部实体的图模型。作者采用双向LSTM与图卷积网络（graph convolutional network, GCN）联合学习非嵌套实体与它们的内部依赖。先前的模型仅考..
Bipartite Flat-Graph Network for Nested Name Entity Recognition
xuzf 的博客
06-29 1577
来源：ACL2020 论文链接：https://arxiv.org/abs/2005.00436 概述 本文提出了一种新的二部平面图网络(BiFlaG)用于嵌套命名实体识别(NER) ，该网络包含两个子图模块: 最外层实体的扁平 NER 模块和内层实体的图模块。 采用双向 LSTM (BiLSTM)和图卷积网络(GCN)联合学习扁平实体及其内部依赖关系。不同于以往仅考虑信息从最内层到外层(或从外层到内层)的单向传递的模型，本文模型有效地捕获了它们之间的双向交互。 作者首先使用扁平 NER 模块所识别的实体.
自然语言处理NLP文本分类顶会论文阅读笔记（二）
我这个代码你能看懂吗？
07-13 2689
NLP论文阅读笔记
嵌套命名实体识别任务简介
zenRRan的博客
11-09 2501
来自：哈工大讯飞联合实验室本期导读：嵌套命名实体是一种特殊形式的命名实体，由于其复杂的层次化结构，传统的基于序列标注的命名实体模型不能很好地解决嵌套命名实体识别的任务。因此，自然语言处理...
《A Neural Layered Model for Nested Named Entity Recognition》
qq_38244371的博客
04-27 2300
问题：大多数命名实体识别(NER)系统只处理平面实体，而忽略了内部嵌 套实体，这无法捕获底层文本中的细粒度语义信息。 方法：为了解决这个问题，我们提出了一种新的神经模型，通过动态叠加平面NER层来识别嵌套的实体。模型将LSTM层的输出合并到当前平面NER层中，为检测到的实体构建新的表示，并随后将它们提供给下一个平面NER层。模型动态地堆加平面NER层，直到没有提取任何外部实体。 flat NER...
论文阅读：Segmentation-Based Deep-Learning Approach for Surface-Defect Detection
Lesel的博客
07-24 3954
PDF\CODE 基于深度学习分割的表面缺陷检测 Domen Tabernik（domen.tabernik@fri.uni-lj.si）； Samo Šela； Jure Skvar； Danijel Skoaj（danijel.skocaj@fri.uni-lj.si） part of Springer Nature 2019 摘要：基于机器学习的表面缺陷自动检测已经成为一个有趣且有发展前景的研究领域，对视觉检测的应用领域产生了非常高且直接的影响。深度学习方法已成为最适合这项任务的方法。它
简单图形的输入输出练习
weixin_52092817的博客
11-11 1036
输出矩形 输出直角三角形(靠左) 输出直角三角形(靠右) 输出等腰三角形 输出菱形 输出⚪ 输出椭圆 输出平行四边形 输出倒等腰三角形
递归变分网络：加速MRI重建
732递归变分网络：应用于加速MRI重建Geor geYiasemis1，2，Jan-Jak obSonk e1，ClarisaSa'nchez2，JonasTeuwen1，21荷兰癌症研究所，2阿姆斯特丹大学{g.yiasemis，j.sonke，j.teuwen} @ nki.nl，{c.i....
Bipartite graph/network学习
学海无涯
02-21 9150
Bipartite graph/network翻译过来就是：二分图。 维基百科中对二分图的介绍为：二分图是一类图(G,E)，其中G是顶点的集合，E为边的集合，并且G可以分成两个不相交的集合U和V，E中的任意一条边的一个顶点属于集合U，另一顶点属于集合V。一个简单的形象表示如下图： 因此，二分图的表示为：G=(U,V,E)。 如果|U|=|V|，即集合U和集合V的元素个数相等，该二分图
ACL2020信息抽取相关论文汇总
qq_42189083的博客
05-29 2329
一、 Entity 相关 （NER & Entity Typing & Entity Linking）主要涉及词汇增强、低资源、跨领域、跨语言、多模态、表示学习。 A Unified MRC Framework for Named Entity RecognitionXiaoya Li, Jingrong Feng, Yuxian Meng, Qinghong Han, Fei Wu and Jiwei Li https://arxiv.org/pdf/1910.11476.p.
200+篇Graph4NLP文献集：图深度学习在NLP任务的应用
Kaiyuan_sjtu的博客
06-11 3478
大家好，我是kaiyuan刷gayhub发现的好东西，当然第一时间分享给朋友们啦！一份图深度学习自然语言处理文献集，详细梳理了NLP十二项任务中，图神经网络的具体应用。来看看具体的内容吧...
ACL2020放榜！事件抽取、关系抽取、NER、Few-Shot相关论文整理~
carrie_0307的博客
05-20 4663
重磅！ ACL2020 官方放榜啦！传送门: https://acl2020.org/program/accepted/ 小编在此整理出了一份事件抽取、关系抽取、命名实体识别、Few-Shot以及在模型中使用GCN和其他一些感兴趣相关论文的列表，希望可以为需要的小伙伴提供便利吖~ (深夜整理，就不放链接了/(ㄒoㄒ)/~~) 事件抽取 Cross-media Structured Common Space for Multimedia Event Extraction Discourse as a
【论文解读 AAAI 2020 | Bi-GCN】Rumor Detection on Social Media with Bi-Directional GCN
byn12345的博客
06-11 1万+
论文题目：Rumor Detection on Social Media with Bi-Directional Graph Convolutional Networks 论文来源：AAAI 2020 清华大学, 腾讯AI 论文链接：https://arxiv.org/abs/2001.06362 代码链接：https://github.com/TianBian95/BiGCN 关键词：谣言检测，社交媒体，GCN 文章目录1 摘要2 引言3 Preliminaries4 Bi-GCN谣言检测模型5 实验.
论文阅读： BI-GCN
sigmoidAndReLU的博客
12-21 1427
paper name：BI-GCN: Boundary-Aware Input-Dependent Graph Convolution Network for Biomedical Image Segmentatation 论文名称：边界感知输入独立的图卷积网络 论文地址: arxiv:2110.14775 代码：未公布 摘要： 分割是图像处理中的重要步骤，而卷积操作是受限于局部感受野的，所以全局信息的提取模型对于分割任务而言意义重大。所以本文就应用图卷积来解决这一问题，并且提出了一个Laplacian方法
虚假新闻检测论文阅读（九）：Rumor Detection on Social Media with Bi-Directional Graph Convolutional Networks
最新发布
weixin_43421371的博客
10-25 719
论文题目：Rumor Detection on Social Media with Bi-Directional Graph Convolutional Networks论文来源：AAAI 2020 清华大学。
谣言检测论文阅读 - Rumor Detection on Social Media with Bi-Directional Graph Convolutional Networks
qq_40671063的博客
01-04 2132
谣言检测论文阅读 - Rumor Detection on Social Media with Bi-Directional Graph Convolutional Networks
谣言检测论文分享（一）
weixin_41964296的博客
03-26 1712
传统方法：主要采用用户特征、文本内容和传播模式等手工特征来训练有监督的分类器。如，决策树，随机森林，SVM等。然而，这些方法主要依赖于特征工程，非常耗时耗力。此外，这些手工设计的特征通常缺乏从谣言传播和散布过程中提取的更高层的表示。近期研究：利用了深度学习方法，从传播路径/树或网络中挖掘高级表示来识别谣言。许多深度学习模型，如长短期记忆（LSTM）、门控递归单元（GRU）和递归神经网络（RvNN）被使用，因为它们能够从谣言的时间传播中学习顺序特征。
Graph Convolutional Network (图卷积GCN)
nakaizura
10-25 3386
目标：为了解决非规则数据结构 — 学习图上特征映射 直觉上想要找到构图结点的特征，一定是与其相关的结点、连接的边有关。那么就直接把每个顶点比如1号结点相邻的结点找出来，虽然相邻的个数可能不一样，设个最大值，然后类似onehot一下，变成统一维度来做不就ok了？但是这样做的缺点在于，必须每个顶点都处理，而且而且而且效果一般。 但是我们有图论，甚至还有拓扑学！ 对于一个图G=(V,E)，laplac...
GCN (Graph Convolutional Network) 图卷积网络解析
热门推荐
祥瑞的技术博客
04-16 8万+
目的：图卷积网络近两年大火，博主实习需要用到。接下来几个月就会在图卷积网络上做很多东西。这篇是刚开始对图卷积网络的学习，所以会广泛参考相关论文与网上的技术博客，总结归纳，希望提炼出有用的知识，加深对于图卷积网络的理解。重要内容链接会贴出方便大家学习，也很欢迎大家跟我探讨或者分享心得。对于复杂的公式与繁杂的推证，博主希望尽可能理解其意义，对于难以理解的或者暂时没有时间推证的可以先记下其结论，方便后续...
[论文阅读笔记25]GCN4NER：用GCN模型来解决NER
ld326的专栏
03-01 1572
题目： Graph Convolutional Networks for Named Entity Recognition Cetoli A , Bragaglia S , O’Harney A D , et al. Graph Convolutional Networks for Named Entity Recognition[J]. https://arxiv.org/pdf/1709.10053.pdf 作者： Cetoli, A. Bragaglia, S. O’Harney, A. D. Slo
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值