基于卷积注意力神经网络的命名实体识别（CAN-NER）

最新推荐文章于 2024-01-23 09:59:55 发布
最新推荐文章于 2024-01-23 09:59:55 发布
阅读量1.7k 收藏 8
点赞数
分类专栏： 实体识别 论文阅读 文章标签： NER 实体识别
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SYSU_BOND/article/details/117376888
版权

CAN-NER: Convolutional Attention Network for Chinese Named Entity Recognition（NAACL-HLT 2019）

论文要点

该论文提出过去基于词向量和词典中的几个问题：

  1. 模型结果会受词向量和词典覆盖好坏的影响【迁移问题】
  2. 会存在OOV的问题，而命名实体大多为OOV
  3. 词向量会极大增大模型大小【Embeddings Size一直是大头】，使得Finetune训练更难
  4. 没有足够大量的标注数据难以学习好词向量
  5. 大词典会占用大内存和耗时用于特征计算【额，这个应该影响很小】
  6. 词典太大时，难以清除词典中的脏数据【确实很多是noise word】
  7. 词向量和词典训练后难以更新【这个关键】

模型框架

 

  • Convolutional Attention Layer
  1. 目的在于encode char和潜在词【encode the sequence of input characters and implicitly group meaning- related characters in the local context】
  2. 每个字符x=[char ; BMES；pos]组成
  3. 感觉文章表述的Conv Attention就是一个窗口大小为kernel size的Local的Self-Attention而已：

          attention权值由输入emb计算

           得到权值后对emb进行加权求和，就是这一层的输出了

             然后这里说有多个kenel，结果算完后进行sum-pool，但感觉也就是一个multi-head

  • BiGRU-CRF with Global Attention
  1. 卷积层后的输出作为BiGRU的输入
  2. BiGRU输出后加一层最经典的Attention层【在机器翻译Attention那篇经典文章的】
  4. 然后拼接BiGRU输出和Attention输出，经线性变换后输入CRF

模型效果

 

模型优缺点

  1. 文章没有使用word emb，而是直接使用分词边界BMES作为char的特征输入到模型中，确实有一定的作用，不过，这样模型是要基于分词的，这又与基于词典的模型不同
  2. 感觉这里的Attention只是为了强行套上去的，尤其是最后一层BiGRU还要加Attention，实验也没说明这个作用体现在哪？
  3. 而在效果上，其实这个模型对比Lattice-LSTM提升很小
SYSU_BOND
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
详解卷积神经网络(CNN)
qq_25762497的博客
04-04 25万+
卷积神经网络（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。
​复旦大学邱锡鹏组：CNN-NER——极其简单有效的嵌套命名实体识别方法
Paper weekly
09-18 2754
©PaperWeekly 原创 ·作者 | 陆星宇单位 | 复旦大学研究方向 | 自然语言处理本文介绍一下复旦大学 NLP 组的一篇新的 NER 论文。论文标题：An Embarrassingly Easy but Strong Baseline for Nested Named Entity Recognition论文链接：https://arxiv.org/abs/2208.04534问题简...
基于MATLAB卷积神经网络的简单手势识别-精简
07-23
内容概要：通过简单手势识别，带着读者做一遍软件安装、数据集采集、图像处理、神经网络训练、网络的测试、综合应用的过程中，了解图像处理、卷积神经网络的核心原理。在手写手势识别源码的过程中会梳理过流程的核心逻辑，简化代码实现过程，保留核心功能，例如：图像减采样、阈值分割、平滑滤波、边缘提取等内容实现。 适合人群：具备一定图像处理、深度学习基础 能学到什么：①如何在MATLAB上利用笔记本自带的摄像头进行图像采集；②图像减采样、阈值分割、平滑滤波、边缘提取都是如何设计和实现的；③卷积神经网络是如何设计、训练以及应用的。 阅读建议：此资源以开发简单手势识别学习图像处理和卷积神经网络的原理和内核，不仅是代码编写实现也更考验读者的代码调试能力，所以在学习的过程要结合这些内容一起来实践，并调试对应的代码。
卷积神经网络CNN 常用模型
IT__learning的博客
07-13 1万+
一、CNN 简介 CNN的精华是：三概念两核心，这里做个简要的概要性介绍。 1、CNN 两核心——卷积和池化 （1）卷积 主要起到作用是抽取特征，使网络具有一定转移不变性，也有一定降维的作用。概述：设定一个n行m列的卷积窗口，采用的relu（elu，leakyrelu）做为激活函数函数，对输入X进行卷积操作。 注意：卷积可能单通道或者多通道卷积；积操作时分为 padding 和非 padding 两种方式，padding 也分为很多方式，比如zero-padding，mean-padding等；对同一个输
卷积神经网络（CNN）详细介绍及其原理详解
热门推荐
IronmanJay的博客
01-14 12万+
本文总结了关于卷积神经网络（CNN）的一些基础的概念，并且对于其中的细节进行了详细的原理讲解，通过此文可以十分全面的了解卷积神经网络（CNN），非常适合于作为Deep Learning的入门学习。下面就是本篇博客的全部内容！
文本信息抽取模型介绍——实体抽取方法：NER模型（下）
INTSIG的博客
07-04 4374
将深度学习技术应用于NER有三个核心优势。首先，NER受益于非线性转换，它生成从输入到输出的非线性映射。与线性模型（如对数线性HMM和线性链CRF）相比，基于DL的模型能够通过非线性激活函数从数据中学习复杂的特征。第二，深度学习节省了设计NER特性的大量精力。传统的基于特征的方法需要大量的工程技能和领域专业知识。另一方面，基于DL的模型可以有效地从原始数据中自动学习有用的表示和底层因素。第三，通过梯度下降，可以在端到端的范式中训练深层神经NER模型。该特性使我们能够设计可能复杂的NER系统。......
CAN-NER Convolutional Attention Network for Chinese Named Entity Recognition
zycxnanwang的博客
11-01 2376
CAN-NER: Convolutional Attention Network for Chinese Named Entity Recognition 总结 作者提出了基于注意力机制的卷积神经网络架构，用于中文命名实体识别。 主要的框架是CNN with the local-attention 和Bi-GRU with global self-attention 总体的框架图如下： Convo...
注意力机制——Convolutional Block Attention Module（CBAM）
weixin_50752408的博客
03-16 2830
其中通道注意力模块通过对输入特征图在通道维度上进行最大池化和平均池化，然后将这两个池化结果输入到一个全连接层中，最后输出一个通道注意力权重向量。空间注意力模块则通过对输入特征图在通道维度上进行平均池化和最大池化，然后将这两个池化结果输入到一个全连接层中，最后输出一个空间注意力权重张量。CBAM 模块包括两个注意力子模块：通道注意力模块和空间注意力模块。通道注意力模块通过对输入特征图在通道维度上进行最大池化和平均池化，然后将这两个池化结果输入到一个全连接层中，最后输出一个通道注意力权重向量。
【CV中的Attention机制】易于集成的Convolutional Block Attention Module(CBAM模块)
pprp的博客
12-31 2478
前言： 这是CV中的Attention机制专栏的第一篇博客，并没有挑选实现起来最简单的SENet作为例子，而是使用了CBAM作为第一个讲解的模块，这是由于其使用的广泛性以及易于集成。目前cv领域借鉴了nlp领域的attention机制以后生产出了很多有用的基于attention机制的论文，attention机制也是在2019年论文中非常火。这篇cbam虽然是在2018年提出的，但是其影响力比较深...
机器学习项目（二） 人工智能辅助信息抽取（十一）
qq_33357094的博客
04-04 953
信息抽取深度学习综述 Survey A Survey on Deep Learning for Name Entity Recognition Flair Embedding Contextual String Embeddings for Sequence Labeling 基于字符的language model IDCNN-CRF 膨胀卷积 Fast and Accurate Entity...
基于卷积神经网络的人脸在线识别系统-数据集+完整代码
01-12
基于卷积神经网络的人脸在线识别系统，本系统研究基于神经网络模型的人脸检测与识别技术， 系统将由以下几个部分构成：制作人脸数据集、CNN神经网络模型训练、人脸检测、人脸识别。 经过实验，确定该系统可对本人的...
基于卷积神经网络的图像识别算法PPT课件.ppt
07-01
基于卷积神经网络的图像识别算法，基于卷积神经网络的图像识别算法PPT,基于卷积神经网络的图像识别算法课件
Python课程设计-基于卷积神经网络手写数字识别系统.zip
06-23
Python课程设计—基于卷积神经网络手写数字识别系统，经老师指导通过的高分项目。 选题 利用numpy完成手写数字数据集的识别，完成多分类问题，搭建神经网络，并且完成模型的训练以及性能评估，可视化数据 用到的...
基于卷积神经网络的手写体识别
08-10
使用TensorFlow实现卷积神经网络的手写字符识别，可重新训练网络
中文自然语言处理（NLP）中的命名实体识别（NER）任务中，加入注意力（attention）机制
最新发布
sagima_sdu的博客
01-23 690
在中文自然语言处理（NLP）中的命名实体识别（NER）任务中，加入注意力（attention）机制可以极大地提升模型的性能。注意力机制可以帮助模型更好地捕捉序列中的关键信息和上下文依赖关系，从而提高对命名实体的识别准确度。在实际应用中，选择哪种类型的注意力机制以及在模型中的具体位置取决于具体任务的需求和数据特性。例如，在处理非常长的文本时，自注意力机制可能更加有效；而在需要理解上下文信息时，在循环神经网络层后加入注意力可能更合适。总之，通过实验和调整来确定最适合特定任务的配置是非常重要的。
神经网络结构在命名实体识别（NER）中的应用
qq_27009517的博客
10-22 3131
from: http://www.cnblogs.com/robert-dlut/p/6847401.html   近年来，基于神经网络的深度学习方法在自然语言处理领域已经取得了不少进展。作为NLP领域的基础任务—命名实体识别（Named Entity Recognition，NER）也不例外，神经网络结构在NER中也取得了不错的效果。最近，我也阅读学习了一系列使用神经网络结构进行NER的相关论...
论文笔记之：Fully Convolutional Attention Localization Networks: Efficient Attention Localization for Fine...
a1424262219的博客
05-26 368
Fully Convolutional Attention Localization Networks: Efficient AttentionLocalization for Fine-Grained Recognition 　　细粒度的识别（Fine-grained recognition）的挑战性主要来自于 类内差异（inter-class difference...
论文阅读——Temporal Convolutional Attention-based Network For Sequence Modeling
liuy9803的博客
03-12 6163
https://arxiv.org/pdf/2002.12530.pdf 代码：https://github.com/haohy/TCAN 用于序列建模的基于注意力的时序卷积网络 作者提出一种时序卷积注意力网络 Temporal Convolutional Attention-based Netword（TCAN），包括两部分：Temporal Attention（TA）捕捉序列内部的...
基于深层神经网络的命名实体识别技术
u012394371的专栏
06-22 7057
基于深层神经网络的命名实体识别技术 发表于22小时前| 1165次阅读| 来源程序员杂志| 4 条评论| 作者张晓鑫 程序员神经网络封面秀京东商城机器学习machine learning分布式计算自然语言处理 摘要：命名实体识别是从文本中识别具有特定类别的实体，例如人名、地名、机构名等。命名实体识别是信息检索，查询分类，自动问答等问题的基础任务，其效果直接影响后续
卷积神经网络在NER中应用
07-28
卷积神经网络在命名实体识别（NER）中的应用已经被广泛研究和应用。NER是一种自然语言处理任务，旨在识别文本中的命名实体，如人名、地名、组织机构等。卷积神经网络通过其对局部特征的捕捉能力，在NER任务中表现出色。 在《Natural Language Processing with PyTorch: Build Intelligent Language Applications Using Deep Learning》一书中，作者介绍了卷积神经网络的基本原理和应用。卷积神经网络通过使用卷积层和池化层来提取文本中的局部特征，并通过全连接层进行分类。这种结构使得卷积神经网络能够有效地捕捉文本中的上下文信息，从而在NER任务中取得良好的性能。\[1\] 此外，研究人员还提出了一些改进的卷积神经网络模型，以进一步提高NER的准确性。例如，Yoon (2014)提出了一种简单的卷积神经网络模型用于句子分类，Conneau et al. (2017)提出了一种深度卷积神经网络模型用于文本分类。这些模型在NER任务中取得了较好的效果。\[2\] 另外，卷积神经网络还可以与循环神经网络（RNN）结合使用，以提高NER的性能。Kalchbrenner和Blunsom (2013)提出了一种使用CNN进行编码和RNN进行解码的神经机器翻译模型，该模型在NER任务中取得了成功。\[3\] 综上所述，卷积神经网络在NER中具有广泛的应用，通过其对局部特征的捕捉能力和与其他模型的结合，可以有效地识别文本中的命名实体。 #### 引用[.reference_title] - *1* *2* *3* [斯坦福NLP课程 | 第11讲 - NLP中的卷积神经网络](https://blog.csdn.net/www_xuhss_com/article/details/124766876)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值