SpanBERT学习

最新推荐文章于 2024-04-23 17:17:46 发布
最新推荐文章于 2024-04-23 17:17:46 发布
阅读量503 收藏
点赞数 1
分类专栏： nlp_paper 文章标签： 深度学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_16949707/article/details/110424286
版权

1. 解决的问题

在回答问题“Which NFL team won Super Bown 50?”时，判断“Denver Broncos” 是否属于“NFL team”是非常重要的步骤。相比于在已知“Broncos”预测“Denver”的情况，直接预测“Denver Broncos”难度更大，这意味着这类分词对自监督任务提出了更多的挑战。

2. 优化思路

（1）对随机的邻接分词（span）而非随机的单个词语（token）添加掩膜；
（2）通过使用分词边界的表示来预测被添加掩膜的分词的内容，不再依赖分词内单个 token 的表示。
在这里插入图片描述
在这里插入图片描述

3. 实验

在这里插入图片描述

4. 参考

  1. SpanBERT：提出基于分词的预训练模型，多项任务性能超越现有模型！:https://mp.weixin.qq.com/s/WzGa5XVi2Op4Lz-1uQXfxQ
  2. 跨度选择任务完胜BERT！全新预训练方法SpanBERT了解下:https://mp.weixin.qq.com/s/DwlukUivS81hFXskT_nnQg
  3. BERT-wwm、BERT-wwm-ext、RoBERTa、SpanBERT、ERNIE2:https://www.cnblogs.com/dyl222/p/11845126.html
HxShine
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
spanBert
liunianhuakai的博客
08-05 835
1. 对 BERT 模型进行了如下改进： 对随机的邻接分词（span）而非随机的单个词语（token）添加掩膜 通过使用分词边界的表示来预测被添加掩膜的分词的内容，不再依赖分词内单个 token 的表示。 SpanBERT 能够对分词进行更好地表示和预测。该模型和 BERT 在掩膜机制和训练目标上存在差别。首先，SpanBERT 不再 对 2. 原理 该模型和 BERT 在掩膜机制和训练目标上...
SpanBERT
Facico的博客
02-17 298
SpanBERT SpanBERT: Improving Pre-training by Representing and Predicting Spans 没有segment embedding，只有一个长句子，类似RoBERTa 使用Span Masking 将NSP改成了SBO Span Masking 首先引入了ERINE中的Whole Word Masking、Named Entity Masking、Phrase Masking 这上面的做法能让效果提升，但是MASS模型中表明，对于这些词
SpanBert学习
最新发布
一休哥的专栏
04-23 818
根据集合分布，随机选择一段span的长度，之后根据均匀分布随机选择这一段的起始位置，然后按照长度进行遮盖。使用几何分布取p=0.2，最大长度为10，通过采样，平均遮盖长度为3.8个词的长度。2.SBO span boundary objective ，希望被遮盖span边界的词向量，能学习到span的内容。再训练时，取span前后边界的两个词，用这两个词向量加上span中被遮盖词的位置向量，预测原词。最后预测span中原值时计算新损失，即SBO目标的损失。将词向量和位置向量拼接起来，加两层全连接。
Spanbert
qq_37008037的博客
03-24 419
这篇论文中提出了一种新的mask的方法，以及一个新损失函数对象。并且讨论了bert中的NSP任务是否有用 　如上图所示，首先这里的mask策略是span mask。具体的做法是首先从一个几何分布中采样span的长度，且限制最大长度为10，然后再随机采样（如均匀分布) span的初始位置。整个训练任务就是预测mask的token，另外mask的比例问题和bert中类似。 除了这些之外还有两个策略，一是动态mask，在bert中是在数据预处理阶段对一条序列随机不同的mask 10次，而在这里是...
BERT家族：spanBERT
qq_32223859的博客
05-26 1927
SpanBERT 论文：《SpanBERT: Improving Pre-training by Representing and Predicting Spans》 论文地址：https://arxiv.org/pdf/1907.10529 作者/机构：华盛顿大学+普林斯顿大学 年份：2019.8 SpanBERT对Bert的改进主要体现在对mask方式的改进，丢弃NSP任务和增加SBO（Span Boundary Objective）任务。其改进点如下： （1）Span mask方案
SpanBert 详解
Decennie的博客
09-02 5468
文章目录0. 摘要1. Introduction2. 背景：BERT3. Model3.1 Span Masking3.2 Span Boundary Objective (SBO)3.3 Single-Sequence Training4. 实验设置4.1 任务4.1.1 Extractive Question Answering4.1.2 Coreference Resolution4.1.3 Relation Extraction4.1.4 GLUE4.2 实现4.3 Baselines5. 实验结果
SpanBERT-PyTorch
03-09
SpanBERT-PyTorch 是一个基于 Python 的深度学习框架，用于实现和训练SpanBERT模型。SpanBERT 是一种预训练语言模型，它通过改进BERT（Bidirectional Encoder Representations from Transformers）来提升模型在下游...
SpanBERT:使用和评估SpanBERT的代码
04-29
要求顶尖请使用较早的Apex提交预训练模型我们发布这两个基地和SpanBERT大套管模型。 基本模型和大型模型具有与相同的模型配置，但是在掩蔽方案和训练目标上都有所不同（有关更多详细信息，请参见我们的论文）。 ：12...
文本分类资源合集（含深度学习文本分类模型，如SpanBERT、DGCNN、ELMo、RAM、DeepMoji等）.zip
01-18
1、该资源内项目代码经过...文本分类资源合集（含深度学习文本分类模型，如SpanBERT、ALBERT、RoBerta、Xlnet、MT-DNN、BERT、TextGCN、MGAN、TextCapsule、SGNN、SGM、LEAM、ULMFiT、DGCNN、ELMo、RAM、DeepMoji）.zip
基于SpanBert中文指代消解的pytorch实现源码（高分课程设计）.zip
11-15
基于SpanBert中文指代消解的pytorch实现源码（高分课程设计）.zip 这是95分以上高分必过课程设计项目，下载即用无需修改，确保可以运行。也可作为期末大作业。 基于SpanBert中文指代消解的pytorch实现源码（高分...
文本分类资源合集（含深度学习文本分类模型，如SpanBERT、ULMFiT、DGCNN、RAM、DeepMoji）.zip
03-30
【资源说明】 ...文本分类资源合集（含深度学习文本分类模型，如SpanBERT、ALBERT、RoBerta、Xlnet、MT-DNN、BERT、TextGCN、MGAN、TextCapsule、SGNN、SGM、LEAM、ULMFiT、DGCNN、ELMo、RAM、DeepMoji）.zip
脉冲神经网络的监督学习算法研究综述
01-30
脉冲神经网络是进行复杂时空信息处理的有效工具，但由于其内在的不连续和非线性机制，构建高效 的脉冲神经网络监督学习算法非常困难，同时也是该研究领域的重要问题． 本文介绍了脉冲神经网络监督学习算法的 基本框架，以及性能评价原则，包括脉冲序列学习能力、离线与在线处理性能、学习规则的局部特性和对神经网络结构 的适用性． 此外，对脉冲神经网络监督学习算法的梯度下降学习规则、突触可塑性学习规则和脉冲序列卷积学习规则 进行了详细的讨论，通过对比分析指出现有算法存在的优缺点，并展望了该领域未来的研究方向
BERT-NER-Pytorch：使用BERT（Softmax，CRF，Span）的中文NER（命名实体识别）
02-03
使用Bert的中文NER BERT代表中文NER。 数据集列表 cner：数据集/ cner 主持人： ： 型号清单 BERT + Softmax BERT + CRF BERT +跨度 需求 1.1.0 = <PyTorch <1.5.0 cuda = 9.0 python3.6 + 输入格式 输入格式（首选BIOS标记方案），每个字符的标签为一行。 句子用空行分隔。 美 B-LOC 国 I-LOC 的 O 华 B-PER 莱 I-PER 士 I-PER 我 O 跟 O 他 O 运行代码 在run_ner_xxx.py或run_ner_xxx.sh修改配置信息。 sh scripts/run_ner_xxx.sh 注意：模型的文件结构 ├── prev_trained_model | └── bert_base | | └── pytorch_model.bin | | └── config.json | | └── vocab.txt | | └── ...... CLUENER结果 BERT在dev上的整体性能： 准确性（实体） 召回（实
【深度学习】BERT变体—SpanBERT
Dong_ZH的博客
03-06 8774
SpanBERT出自Facebook，就是在BERT的基础上，针对预测spans of text的任务，在预训练阶段做了特定的优化，它可以用于span-based pretraining。这里的Span翻译为“片段”，表示一片连续的单词。SpanBERT最常用于需要预测文本片段的任务。SpanBERT所做的预训练调整主要是以下三点：1.使用一种span masking来代替BERT的mask；2.加入另外一个新的训练目标：Span Boundary Objective (SBO)；
解读SpanBERT:《Improving Pre-training by Representing and Predicting Spans》
小岁月太着急
08-11 7080
原文链接： https://arxiv.org/pdf/1907.10529.pdf 在本文中，作者提出了一个新的分词级别的预训练方法 SpanBERT ，其在现有任务中的表现优于 BERT ，并在问答、指代消解等分词选择任务中取得了较大的进展。对 BERT 模型进行了如下改进： 提出了更好的 Span Mask 方案，SpanBERT 不再对随机的单个 token 添加掩膜，而是对随...
深入理解深度学习——BERT派生模型：SpanBERT（Improving Pre-training by Representing and Predicting Spans）
热门推荐
冯·诺依曼
06-23 1万+
MLM训练方法是BERT拥有自然语言理解能力的核心训练方法。然而，BERT在预训练过程中挑选掩码词的概率是独立计算的，即BERT掩码词的粒度是最小的，可能是单个词，也可能是一个词的部分子词。SpanBERT的核心思想是，扩大掩码范围会让模型有更好的性能。SpanBERT没有修改BERT的结构，也没有使用更多的语料，仅仅通过设计更合理的预训练任务和目标，使模型有更好的性能表现，思路非常独特。
SpanBERT: 抽取式问答的利器
zenRRan的博客
05-10 1395
点击下面卡片，关注我呀，每天给你送来AI技术干货！来自：朴素人工智能感谢清华大学自然语言处理实验室对预训练语言模型架构的梳理，我们将沿此脉络前行，探索预训练语言模型的前沿技术，红框中为已介...
预训练模型 - SpanBERT
beyoncewxm0923的博客
06-09 510
目录预训练模型简要介绍¶SpanBERT: Improving Pre-training by Representing and Predicting Spans¶1. SpanBERT的技术改进点¶2. BERT模型中的预训练任务¶2.1 Masking Language Model (MLM)¶2.2 Next Word Prediction (NSP)¶3. SpanBERT的预训练任务¶3.1 Span Masking¶3.2 Span Boundary Object (SBO)...
算法面试之SpanBERT
持续战斗状态的博客
09-08 484
顾名思义，使用Span片段进行Mask操作；与Roberta一样，舍弃了NSP任务，但是增加了SBO任务；Mask token的占比依然为15%，并按照811的规则替换。
给我推荐20个比较流行的NLU 深度学习模型
09-05
11. SpanBERT (BERT for Span-based Question Answering) 12. MT-DNN (Multi-Task Dual Encoder with Transformers) 13. T5 (Text-to-Text Transfer Transformer) 14. GPT-3 (Generative Pre-trained Transformer 3)...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值