NER经典论文：LEBERT

最新推荐文章于 2023-08-28 08:50:41 发布
最新推荐文章于 2023-08-28 08:50:41 发布
阅读量497 收藏 4
点赞数
分类专栏： 论文分享 文章标签： transformer 自然语言处理 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42887772/article/details/124840270
版权

LEBERT中引入词汇信息的方式可以有效提高模型对实体边界和类型的识别性能。LEBERT方法在BERT底层注入词汇信息，可以高效地进行词增强

LEbert在bert的基础上有两点改进：

输入：对于序列中的每一个字符 c i c_i ci​都会寻找若干个词 w i , j w_{i,j} wi,j​，来构成char-word对
通过lexicon adapter来将词汇信息加入到bert的某一层

模型结构

在这里插入图片描述
char-words pair：
在这里插入图片描述
Lexcion Adapter:
将char输出到bert经过几层transformer变换之后，shape将会变为(batch,seq,dim_c)。然后对于每一个char，对其对应的若干个word进行词嵌入，所有的word的shape是:(batch,seq,N,dim_w),N是每个char对应word的数量
接下来对word进行非线性变换：将word向量和char向量进行对其
word向量和char向量维度一致后，通过注意力机制加权各个不同的word向量，加权后word向量的shape为（batch,seq,dim_c）,最后把char向量和word向量相加得到新的向量表示，输入到transformer

石头猿rock
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
LEBERT：基于词汇增强的中文NER模型
Kaiyuan_sjtu的博客
04-11 5453
01任务概述命名实体识别（简称NER）是NLP中的经典任务，即给定一个输入文本，让模型识别出文本中的实体信息。在中文NER任务中，可以分为Character-based (字符粒度) 和 Word-based (词语粒度) 两种方法。Word-based (词语粒度)：基于词语粒度的中文NER任务，首先会对输入文本进行分词，将每个词语视为一个token，模型对每个词语...
融合词典特征的ner模型：LEBERT 复现与优化
samoyan的博客,记录技术成长~
06-16 1923
1、github:GitHub - yangjianxin1/LEBERT-NER-Chinese: 基于词汇信息融合的中文NER模型基于词汇信息融合的中文NER模型. Contribute to yangjianxin1/LEBERT-NER-Chinese development by creating an account on GitHub.https://github.com/yangjianxin1/LEBERT-NER-Chinese2、论文：https://arxiv.org/abs/210
Python实现基于词汇信息融合的中文命名实体识别模型
最新发布
毕业作品网站
08-28 220
所有模型均使用的预训练权重。在训练的时候，batch size均为32，BERT的原始参数的学习率设置为1e-5，LEBERT和CRF所引入的参数的学习率设置为1e-4。对于Ontonote、Msra数据集训练10个epoch，对于Resume和Weibo数据集训练30个epoch。原论文的词向量使用的是包含两千万单词的本项目的词向量使用,其中包含两百万预训练的词向量,维度为200。本项目将词向量信息在BERT的第一层之后进行融合，并且每个汉字，最多融合3个词向量。
【论文解读系列】NER方向：W2NER (AAAI 2022)
ljp1919的专栏
10-24 2783
文章基于词-词关系分类，提出一个统一的实体框架 W2NER，关系包括 NNW 和 THW。框架在面对各种不同的 NER 时非常有效。
CNN-NER论文详解
yingzi的技术博客
07-31 822
基于序列标注（sequence labeling）基于超图（hypergraph）基于序列到序列（Seq2Seq）基于片段分类（span classification）本文跟进了《Named Entity Recognition as Dependency Parsing》这一论文的工作，同样采用基于片段分类的方案。
NER-pytorch：LSTM + CRF NER
02-03
注意： 该软件包已停止更新，请参阅我们的新 参考： 纸： 用于命名实体识别的神经架构通过BLSTM-CNN-CRF进行端到端序列标记码： 用法： python train.py 性能 f1 91.00％
spacy-ner-annotator:使用自定义数据集训练 Spacy ner
05-29
spacy-ner-注释器安装pip3 安装 spacy使用步骤打开index.html文件并打开其中的数据。 发布注释下载数据并使用convert_spacy_train_data.py转换为 spacy 格式如果您愿意，将数据拆分为训练和测试并将其添加到train.py...
ner-annotator:SpaCy的命名实体识别（NER）注释工具。 生成Traning数据作为JSON，可以轻松使用
04-22
NER的Spacy注释器 启动应用程序 安装依赖项并启动Python后端服务器 python -m venv env source env/bin/activate pip install -r requirements.txt python annotator/server.py 打开另一个终端并启动用于UI的服务器...
HORUS-NER：HORUS：增强NLP任务的框架
02-06
此版本支持经典命名实体类型（LOC，PER，ORG）的标识。 设置（基于Python 2.7） 确保您已安装Java 测试是否运行： java -XX:ParallelGCThreads=2 -Xmx2048m -jar /**X**/horus-ner/data/models/tweetnlp/ark-
ner-nodejs:Standford NER服务器的NODEJS客户端
05-24
如果未像这样运行它，则java -mx1500m -cp stanford-ner-2015-04-20 / stanford-ner.jar edu.stanford.nlp.ie.NERServer -loadClassifier stanford-ner-2015-04-20 / classifiers / english .muc.7class.distsim....
GoogleNet经典论文4篇
11-26
欢迎想入门CNN和深度学习的朋友们阅读论文。 GoogleNet始于LeNet-5，一个有着标准的堆叠式卷积层冰带有一个或多个全连接层的结构的卷积神经网络。通常使用dropout来针对过拟合问题。  为了提出一个更深的网络，GoogLeNet做到了22层，利用inception结构，这个结构很好地利用了网络中的计算资源，并且在不增加计算负载的情况下，增加网络的宽度和深度。同时，为了优化网络质量，采用了Hebbian原理和多尺度处理。GoogLeNet在分类和检测上都取得了不错的效果。  最近深度学习的发展，大多来源于新的想法，算法以及网络结构的改善，而不是依赖于硬件，新的数据集，更深的网络，并且深度学习的研究不应该完全专注于精确度的问题上，而更应该关注与网络结构的改善方面的工作。
ner:命名体识别（NER）综述-论文-模型-代码（BiLSTM-CRFBERT-CRF）-竞赛资源总结-随时更新-源码时代
03-24
背景介绍 建了仓库，地址在这里： 点star不迷路，相关文章在github上更新的会更交替一点QAQ 之前做过调整的命名体识别，项目背景实际上也很简单，就是我要做一个关键词匹配的功能，第一步我需要挖掘关键词。 ，明星领域，财经领域等等吧，这些领域的文本很有特色，一般人名/地名/公司名称/书名/电影名称都可以很好的表示文本关键信息。 在这种项目背景之下，很自然的就会想到使用命名体识别。我把在做这个项目的过程中，积累的一些资料汇总了一下，希望对大家有所帮助。 关于命名体识别，这是一个很大的领域，要做好，有很多工作要做。标题完全是为了能增加曝光，自己还是知道只是一个小学生，我会把自己看过的有用的东西都列出来，给大家提供一些先验信息。 之后看到的关于nert的文章会在此基础继续更新（最近存了好多新文章还没看/苦逼码农/ QAQ），不过建议大家star一下Github，不迷路，我给自己的计划是精读一
Python-LstmcrfLatticeCRFbertner及近年ner相关论文follow
08-11
Lstm-crf,Lattice-CRF,bert-ner及近年ner相关论文follow
NER论文笔记2-ACL2021
TARO_ZERO的博客
03-14 963
ACL2021中NER相关论文
【论文笔记】统一NER模型-W²NER
Lazybearlee的博客
05-06 576
到目前为止，NER已经涉及到三种主要类型，包括Flat、Overlapped、Discontinuous。他们大多是单独研究的。最近，人们对统一NER越来越感兴趣，用一个模型同时处理上述三个任务。目前表现最好的方法主要包括基于span的模型和序列到序列的模型，不幸的是，前者只关注边界识别，后者可能会受到暴露偏差的影响。在这项工作中，本文提出了一种新的替代方法，将统一的NER建模为词-词关系分类，即W²NER。
【论文笔记】命名实体识别(NER)论文整理
theoreoeater的博客
05-03 7527
Bidirectional LSTM-CRF Models for Sequence Tagging论文链接：https://arxiv.org/abs/1508.01991这篇文章比较了NLP几个经典任务：词性标注，命名实体识别上的模型，包括CRF，LSTM，Bi-LSTM，LSTM-CRF，Bi-LSTM-CRF，Bi-LSTM-CRF在这几个任务上取得了最好的准确度和健壮性，对词语特征工程的...
中文实体抽取（NER）论文笔记《Chinese NER Using Lattice LSTM》
热门推荐
u014475479的博客
07-20 2万+
原文链接 本文发表于自然语言处理领域顶级会议ACL 2018 摘要 本文提出了一种用于中文NER的LSTM的格子模型，与传统使用字向量的模型相比，本文提出的模型显式地利用了字序列之间的关系。与传统使用词向量的模型相比，本文提出的模型能够很好的避免分词错误带来的影响。 介绍： 作为信息抽取任务的基本步骤，NER一直受到NLP学界的广泛关注。传统方法一般把NER看作是一个序列...
【知识图谱系列】基于2D卷积的知识图谱嵌入
【AI机器学习与知识图谱】的博客
05-21 552
作者：CHEONG 公众号：AI机器学习与知识图谱 研究方向：自然语言处理与知识图谱 本文给大家推荐两篇知识图谱表示学习相关的论文，这两篇论文都是将传统图像中的2D卷积操作直接用到知识图谱模型中，并且取得了不错的效果。完整汇报ppt获取请关注公众号回复关键字：2D卷积知识图谱嵌入 一、Background Knowledge 1： 二维卷积常用在计算机视觉、图像处理领域，用于处理图片数据；而一维卷积常用于序列模型，多适用于自然语言处理领域。知识图谱是非结构化数据，即不具有文本序列清晰的上下文，..
小黑照葫芦画瓢乘胜追击:BertCrfForNer,LEBertSoftmaxForNer,LEBertCrfForNer
qq_37418807的博客
04-12 370
1.BertCrfForNer from transformers import BertPreTrainedModel,BertConfig,BertModel from TorchCRF import CRF import torch import torch.nn as nn class BertCrfForNer(BertPreTrainedModel): def __init__(self,config): super(BertCrfForNer,self).__init
I:NER Training:*** Features *** I:NER Training: name = input_ids, shape = (?, 202) I:NER Training: name = input_mask, shape = (?, 202) I:NER Training: name = label_ids, shape = (?, 202) I:NER Training: name = segment_ids, shape = (?, 202) shape of input_ids (?, 202)
07-14
在 NER（命名实体识别）训练过程中，通常会使用一些特征来表示输入数据。在这个例子中，"input_ids" 是一种表示输入文本的特征，它可能是一个由词汇表中的词语对应的 ID 组成的序列。 该日志还显示了其他几个特征的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

石头猿rock

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值