基于卷积注意力神经网络的命名实体识别（CAN-NER）

最新推荐文章于 2024-05-24 23:54:15 发布
最新推荐文章于 2024-05-24 23:54:15 发布
阅读量1.8k 收藏 9
点赞数
分类专栏： 实体识别 论文阅读 文章标签： NER 实体识别
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SYSU_BOND/article/details/117376888
版权

CAN-NER: Convolutional Attention Network for Chinese Named Entity Recognition（NAACL-HLT 2019）

论文要点

该论文提出过去基于词向量和词典中的几个问题：

  1. 模型结果会受词向量和词典覆盖好坏的影响【迁移问题】
  2. 会存在OOV的问题，而命名实体大多为OOV
  3. 词向量会极大增大模型大小【Embeddings Size一直是大头】，使得Finetune训练更难
  4. 没有足够大量的标注数据难以学习好词向量
  5. 大词典会占用大内存和耗时用于特征计算【额，这个应该影响很小】
  6. 词典太大时，难以清除词典中的脏数据【确实很多是noise word】
  7. 词向量和词典训练后难以更新【这个关键】

模型框架

 

  • Convolutional Attention Layer
  1. 目的在于encode char和潜在词【encode the sequence of input characters and implicitly group meaning- related characters in the local context】
  2. 每个字符x=[char ; BMES；pos]组成
  3. 感觉文章表述的Conv Attention就是一个窗口大小为kernel size的Local的Self-Attention而已：

          attention权值由输入emb计算

           得到权值后对emb进行加权求和，就是这一层的输出了

             然后这里说有多个kenel，结果算完后进行sum-pool，但感觉也就是一个multi-head

  • BiGRU-CRF with Global Attention
  1. 卷积层后的输出作为BiGRU的输入
  2. BiGRU输出后加一层最经典的Attention层【在机器翻译Attention那篇经典文章的】
  4. 然后拼接BiGRU输出和Attention输出，经线性变换后输入CRF

模型效果

 

模型优缺点

  1. 文章没有使用word emb，而是直接使用分词边界BMES作为char的特征输入到模型中，确实有一定的作用，不过，这样模型是要基于分词的，这又与基于词典的模型不同
  2. 感觉这里的Attention只是为了强行套上去的，尤其是最后一层BiGRU还要加Attention，实验也没说明这个作用体现在哪？
  3. 而在效果上，其实这个模型对比Lattice-LSTM提升很小
SYSU_BOND
关注
  • 0
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
基于循环和卷积神经网络融合的中文命名实体识别与应用.pdf
09-25
本文提出了一种基于循环和卷积神经网络融合的中文命名实体识别模型 BLDC-NER，该模型可以较好地解决长序列和汉字多义性问题。该模型首先利用 BERT 预训练模型根据字的上下文语境生成字的动态语义向量，然后将字向量...
CAN-NER Convolutional Attention Network for Chinese Named Entity Recognition
zycxnanwang的博客
11-01 2395
CAN-NER: Convolutional Attention Network for Chinese Named Entity Recognition 总结 作者提出了基于注意力机制的卷积神经网络架构，用于中文命名实体识别。 主要的框架是CNN with the local-attention 和Bi-GRU with global self-attention 总体的框架图如下： Convo...
CAN (Condition-Aware Neural Network)
whaosoft143ai的博客
04-28 355
此外，CaT-L0 在 ImageNet 512×512 上得到 2.78 的 FID，优于 DiT-XL/2 (3.04 FID)，DiT-XL/2 的每个扩散步骤需要 52× 高的计算成本。比如在 ImageNet 512×512 的图像生成任务，CAN 方法的 FID 比 DiT-XL/2 更小，且每个采样步骤的 MACs 少 52 倍，为边缘设备上的扩散模型应用提供支持。首先，作者发现，仔细选择一部分模块使其权重是条件感知的，而不是将所有的模块都变成条件感知的，这样做更有利于性能和效率的权衡。
神经网络学习小记录73——Pytorch CA（Coordinate attention）注意力机制的解析与代码详解
热门推荐
Bubbliiiing的学习小课堂
05-07 2万+
神经网络学习小记录72——Pytorch CA（Coordinate attention）注意力机制的解析与代码详解学习前言代码下载CA注意力机制的概念与实现注意力机制的应用 学习前言 CA注意力机制是最近提出的一种注意力机制，全面关注特征层的空间信息和通道信息。 代码下载 Github源码下载地址为： https://github.com/bubbliiiing/yolov4-tiny-pytorch 复制该路径到地址栏跳转。 CA注意力机制的概念与实现 该文章的作者认为现有的注意力机制（如CBAM、
全新神经网络架构KAN——本文用于学习与探索
xiao_ling_yun的博客
05-11 7549
24年新神经网络结构KAN论文学习 + 解析，KAN有望作为MLP的更优平替
​复旦大学邱锡鹏组：CNN-NER——极其简单有效的嵌套命名实体识别方法
Paper weekly
09-18 2874
©PaperWeekly 原创 ·作者 | 陆星宇单位 | 复旦大学研究方向 | 自然语言处理本文介绍一下复旦大学 NLP 组的一篇新的 NER 论文。论文标题：An Embarrassingly Easy but Strong Baseline for Nested Named Entity Recognition论文链接：https://arxiv.org/abs/2208.04534问题简...
注意力机制——Convolutional Block Attention Module（CBAM）
weixin_50752408的博客
03-16 2974
其中通道注意力模块通过对输入特征图在通道维度上进行最大池化和平均池化，然后将这两个池化结果输入到一个全连接层中，最后输出一个通道注意力权重向量。空间注意力模块则通过对输入特征图在通道维度上进行平均池化和最大池化，然后将这两个池化结果输入到一个全连接层中，最后输出一个空间注意力权重张量。CBAM 模块包括两个注意力子模块：通道注意力模块和空间注意力模块。通道注意力模块通过对输入特征图在通道维度上进行最大池化和平均池化，然后将这两个池化结果输入到一个全连接层中，最后输出一个通道注意力权重向量。
融合空洞卷积神经网络与层次注意力机制的中文命名实体识别.pdf
09-25
总结来说，IDC-HSAN模型是NER领域的一个进步，它结合了空洞卷积神经网络的高效性和层次注意力机制的语义捕捉能力，同时利用偏旁部首信息增强了对汉字的理解。这种创新的方法对于中文命名实体识别的性能提升具有重要...
基于深度神经网络的法语命名实体识别模型.pdf
09-25
接下来，卷积神经网络（CNN）应用于字符嵌入序列，通过滤波器提取局部模式，以获得单词的字符级特征。这种卷积操作能有效地捕捉到词内部的结构模式，对于识别那些基于字符模式的实体很有帮助。 然后，模型采用双向...
基于差异性神经网络集成的命名实体识别方法.pdf
09-25
《基于差异性神经网络集成的命名实体识别方法》是一篇深入探讨如何利用深度学习技术，特别是神经网络，来提升命名实体识别（NER）任务效率和准确性的研究论文。命名实体识别是自然语言处理中的关键任务，它涉及到...
基于卷积神经网络的中文景点识别研究.pdf
09-25
本文讨论了基于卷积神经网络的中文景点识别研究，该研究主要集中在命名实体识别（Named Entity Recognition，NER）领域，旨在解决中文旅游景点实体识别问题。命名实体识别是自然语言处理（Natural Language ...
【CV中的Attention机制】易于集成的Convolutional Block Attention Module(CBAM模块)
pprp的博客
12-31 2528
前言： 这是CV中的Attention机制专栏的第一篇博客，并没有挑选实现起来最简单的SENet作为例子，而是使用了CBAM作为第一个讲解的模块，这是由于其使用的广泛性以及易于集成。目前cv领域借鉴了nlp领域的attention机制以后生产出了很多有用的基于attention机制的论文，attention机制也是在2019年论文中非常火。这篇cbam虽然是在2018年提出的，但是其影响力比较深...
文本信息抽取模型介绍——实体抽取方法：NER模型（下）
INTSIG的博客
07-04 4553
将深度学习技术应用于NER有三个核心优势。首先，NER受益于非线性转换，它生成从输入到输出的非线性映射。与线性模型（如对数线性HMM和线性链CRF）相比，基于DL的模型能够通过非线性激活函数从数据中学习复杂的特征。第二，深度学习节省了设计NER特性的大量精力。传统的基于特征的方法需要大量的工程技能和领域专业知识。另一方面，基于DL的模型可以有效地从原始数据中自动学习有用的表示和底层因素。第三，通过梯度下降，可以在端到端的范式中训练深层神经NER模型。该特性使我们能够设计可能复杂的NER系统。......
【YOLOv8改进】CPCA(Channel prior convolutional attention)中的通道注意力,增强特征表征能力 (论文笔记+引入代码)
最新发布
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
05-24 1491
医学图像通常展示出低对比度和显著的器官形状变化等特征。现有注意力机制通常不足以适应性地提升医学成像的分割性能。本文提出了一种有效的通道优先卷积注意力（CPCA）方法，支持在通道和空间维度上动态分配注意力权重。通过采用多尺度深度卷积模块，有效地提取空间关系同时保留通道优先。CPCA具有关注信息丰富通道和重要区域的能力。基于CPCA，我们提出了一个用于医学图像分割的网络，称为CPCANet。CPCANet在两个公开可用的数据集上进行了验证。
机器学习项目（二） 人工智能辅助信息抽取（十一）
qq_33357094的博客
04-04 958
信息抽取深度学习综述 Survey A Survey on Deep Learning for Name Entity Recognition Flair Embedding Contextual String Embeddings for Sequence Labeling 基于字符的language model IDCNN-CRF 膨胀卷积 Fast and Accurate Entity...
论文阅读——Temporal Convolutional Attention-based Network For Sequence Modeling
liuy9803的博客
03-12 6543
https://arxiv.org/pdf/2002.12530.pdf 代码：https://github.com/haohy/TCAN 用于序列建模的基于注意力的时序卷积网络 作者提出一种时序卷积注意力网络 Temporal Convolutional Attention-based Netword（TCAN），包括两部分：Temporal Attention（TA）捕捉序列内部的...
基于深层神经网络的命名实体识别技术
u012394371的专栏
06-22 7094
基于深层神经网络的命名实体识别技术 发表于22小时前| 1165次阅读| 来源程序员杂志| 4 条评论| 作者张晓鑫 程序员神经网络封面秀京东商城机器学习machine learning分布式计算自然语言处理 摘要：命名实体识别是从文本中识别具有特定类别的实体，例如人名、地名、机构名等。命名实体识别是信息检索，查询分类，自动问答等问题的基础任务，其效果直接影响后续
用神经网络实现命名实体识别
u013713117的专栏
02-16 3318
基于普通NN的模型 基本的模型如图所示，主要采用基于窗口的方法。 embedding layer： 如图，对于中心词“on”来说，根据窗口大小5分别截取前两个词与后两个词。每一个词都有K个特征，Feature 1是词向量特征，Feature 2-K是自定义特征，比如是否都是小写，首字母是否大写等。通过Lookup Table 查找词特征的向量表示，然后将向量连接起来作为神经网络的输入。 NN :
卷积神经网络在NER中应用
07-28
卷积神经网络在命名实体识别（NER）中的应用已经被广泛研究和应用。NER是一种自然语言处理任务，旨在识别文本中的命名实体，如人名、地名、组织机构等。卷积神经网络通过其对局部特征的捕捉能力，在NER任务中表现...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值