在SQuAD2.0榜单上出现过的部分模型详解StructBert，T5，RoBERTa，RetroReader，ALBert

最新推荐文章于 2023-12-05 21:09:02 发布
最新推荐文章于 2023-12-05 21:09:02 发布
阅读量1.3k 收藏 2
点赞数
分类专栏： 文献笔记 NLP 文章标签： bert 深度学习 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43149766/article/details/121223330
版权
文章目录StructBertWord Structural ObjectiveSentence Structural ObjectiveT5Text-to-TextC4数据集——Colossal Clean Crawled Corpus （超大型干净爬取数据）试验结论RoBERTa: A Robustly Optimized BERT Pretraining Approach改进方法模型规模、算力与数据效果与总结ALBert改进方法Factorized embedding parameterizationC
摘要由CSDN通过智能技术生成

文章目录

StructBert

StructBert: Incorporating Language Structures Into Pre-Training For Deep Language Understanding（Alibaba 2019）

基于bert的预训练模型，从预训练任务的角度修改bert

保留WordPiece， absolute positional encoding 等bert相关特性

贡献：

  • 将两个新型的预训练任务加入bert原始预训练任务

  • 去掉NSP任务

成果：GLUE top 1

Word Structural Objective

输入一个句子中打乱的单词，好的语言模型可以学习到正确的顺序

下面这k=3，表示打乱的顺序在正确的顺序绝对位置不超过3。

研表究明，汉字序顺并不定一影阅响读。比如当你看完这句话后，才发这现里的字全是都乱的。

Larger K，比较难，噪声多

Smaller K，任务简单，噪声少

image-20211104140539547

image-20211104140554023

Sentence Structural Objective

image-20211104161608923

构造句对三分类任务：

  • 1/3：上下句，label 1
  • 1/3：上下句逆序，label 2
  • 1/3：不同文档的句子，label 0

T5

Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer（Google 2019）

  • 一个通用的框架，相对于一个综述

  • C4数据集

  • 大量前人想做却没做的实验（70+）

  • 得到一些有意义的结论

  • 各种任务的新baseline

Text-to-Text

将所有NLP 任务都转化成 Text-to-Text （文本到文本）任务

image-20211104162037740

相同的模型

相同的损失函数

相同的训练过程

相同的解码过程

C4数据集——Colossal Clean Crawled Corpus （超大型干净爬取数据）

每周约爬取20TB的WEB数据，对数据进行处理：

  • 取结尾有标点的句子
  • 去掉包含脏话的网页
  • 去掉包含Javascript的句子
  • "lorem ipsum"是一个测试网页排版的拉丁文，去掉包含这个占位符的网页
  • 去掉包含代码片段的网页
  • 以三句为一个片段进行去重
  • 去掉非英文的网页

最终生成750GB的数据集

试验结论

  • Spanbert span=3 15%

  • C4 数据集 大量数据无重复样本

  • 模型越大越好，但是考虑实际环境，提供5个大小不一的模型级别

  • 混合多任务预训练 Example proportional mixing

最低0.47元/天 解锁文章
smallBrilliant
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
阅读理解模型汇总
weixin_44179676的博客
10-25 1346
SQuAD阅读理解模型 SQuAD简介 SQuAD 是由 Rajpurkar 等人[1]提出的一个最新的阅读理解数据集。该数据集包含 10 万个（问题，原文，答案）三元组，原文来自于 536 篇维基百科文章，而问题和答案的构建主要是通过众包的方式，让标注人员提出最多 5 个基于文章内容的问题并提供正确答案，且答案出现在原文中。SQuAD 和之前的完形填空类阅读理解数据集如 CNN/DM[2]，CBT[3]等最大的区别在于：SQuAD 中的答案不在是单个实体或单词，而可能是一段短语，这使得其答案更难预测。SQ
SQuAD数据集简介
热门推荐
码农1479的博客
03-06 1万+
SQuAD（Stanford Question Answering Dataset） 是一个阅读理解数据集。
使用StructBERT模型
hbird390的博客
12-05 562
请注意，这里假设你已经找到了一个名为"structbert-base-uncased"的StructBERT预训练模型。如果在Model Hub上没有直接可用的StructBERT模型，请查阅相关的研究论文或GitHub仓库以获取模型权重文件。
Transformers代码笔记系列1(T5 model）
u012409283的博客
12-16 2146
重要参数注释 past_key_value: 只有Decoder模型在文本生成过程（训练过程用不上）中才能用到。顾名思义，它存储的是Decoder模型在t时刻前输入的token对应的key和value映射，用于减少计算，将input在Wk、Wv上的映射存储起来，进行下一个词预测时，就可以直接拿过来用了。它包括self_attention和cross_attention对应的key、value映射。单个key或者value单元shape：【batch_size, n_heads, q_len-1, dim_
预训练语言模型 | (5) StructBert和RoBerta
sdu_hao的博客
02-06 2065
目录 1. StructBert 2. RoBerta 3. Bert系列预训练语言模型总结 1. StructBert structbert的创新点主要在loss上，除了MLM的loss外，还有一个重构token顺序的loss和一个判断2个segment关系的loss。重构token顺序的loss是以一定的概率挑选segment中的token三元组，然后随机打乱顺序，最后经过encod...
SQuAD2.0数据集
qq_43572514的博客
10-18 672
SQuAD2.0数据集 （打开即可下载）
SQuAD2.0.zip
03-17
与SQuAD1.0不同的是，SQuAD2.0在原有的基础上增加了无法从原文中找到答案的问题，这要求模型不仅要能找出正确的答案，还要能够识别出那些没有答案的问题，防止给出不恰当的或错误的回答。 在实现上，SQuAD2.0数据集...
SQuAD 2.0 数据集.zip
06-28
总结，SQuAD 2.0数据集为自然语言处理的问答任务提供了宝贵资源，推动了模型在理解和生成准确答案上的进步。通过利用这个数据集，我们可以构建更智能的AI系统，更好地理解人类语言，服务于各种应用场景，如智能助手...
ALBERT-TF2.0:使用TF2.0的ALBERT模型预训练和微调
03-08
使用TF2.0的ALBERT模型微调 该存储库包含针对ALBERT的TensorFlow 2.0实现。 要求 python3 点安装-r requirements.txt ALBERT预训练 从零开始的ALBERT模型预训练和特定于域的微调。 说明 下载ALBERT TF 2.0砝码 ...
KnowGQA：带有SQuAD2.0的问答模型。 （斯坦福大学CS224N默认项目）
02-11
知道GQA 使用SQuAD2.0的问答模型。 （斯坦福大学CS224N默认项目）入门代码来自 斯坦福大学CS224N课程网站： ://web.stanford.edu/class/cs224n/ 2019年冬季课程视频： : list 1.引言在这项工作中，我们提出了KnowGQA...
SQuAD_2.0.zip
06-28
Stanford Question answer Dataset (SQuAD)是一个阅读理解数据集，由众包工作者在维基百科文章上提出的问题组成，其中每个问题的答案都是对应阅读文章的一段文字，或者说是一段跨度，或者这个问题可能是无法回答的。资源为v2.0版的SQuAD数据集
斯坦德机器阅读理解SQuAD2.0数据集
02-28
斯坦福机器阅读理解竞赛的数据集SQuAD2.0，基于 SQuAD（Stanford Question Answering Dataset）的文本理解挑战赛，是行业内公认的机器阅读理解领域的顶级水平测试；它构建了一个包含十万个问题的大规模机器阅读理解数据集，选取超过 500 篇的维基百科文章。数据集中每一个阅读理解问题的答案是来自给定的阅读文章的一小段文本 —— 以及，现在在 SQuAD 2.0 中还要判断这个问题是否能够根据当前的阅读文本作答。
Question-Answering-with-BERT-and-Knowledge-Distillation:在SQuAd 2.0数据集上对BERT进行了微调。 使用BERT作为教师模型的应用知识蒸馏（KD）和经过微调的DistilBERT（学生）。 将原始BERT的大小减少了40％
05-22
BERT和知识提炼的问题解答该存储库包含必要的代码，以便微调SQuAD 2.0数据集上的BERT。 此外，的技术是通过微调施加使用BERT作为教师模型小队2.0数据集。 使用Google Colab的1个Tesla V100 GPU获得了所有结果。1....
问题生成模型 - SQuAD任务启发
liliang199的专栏
01-26 1073
如何将BERT应用到生成式模型-UNILM BERT采用BiLM的方式预训练，而生成式模型一般采用Left->Right的LM的方式预训练，UNILM则在继承BERT BiLM预训练强大优势的同时，将BERT模型应用到生成式任务中，本文解读UNILM是如何实现这个目标，以及实现目标的方法和过程。 UNILM： LM模型其实本质都是在训练时能获取到什么信息，在实现层面就是如何Mask的问题了，所以可以把Seq2Seq的LM方法应用到BERT中，S1[SEP]S2，S1做Encode编码用，S2做Dec
Struct BERT论文解读
zhangyinhua1122的博客
04-20 412
STRUCTBERT: INCORPORATING LANGUAGE STRUCTURES INTO PRE-TRAINING FOR DEEP LANGUAGE UNDERSTANDING 这里是对 Struct BERT 的解读，纯属个人理解 这篇文章是阿里达摩院在ICLR 发布的文章 模型的动机我认为就是在 一个句子中，单词的顺序并不影响对句子的理解 作者对BERT 的修改主要有两个部分 MLM: 在未被MASK 的单词中选取trigrams，然后随机打乱，LM的目标是预测正确的顺序 NSP: 作
SQuAD-1.1数据集介绍
xhsun的博客
06-05 1万+
我们下载的是train-v1.1.json. 用json打开 data=json.load(open(train-v1.1.json)) data是一个dict，长度是2，key是"data"和"version". 数据全在data[“data”]中 data[“data”]是一个长度为442的list，每一个元素是一个dict. 我们来看第一个元素：data[“data”][0] 这是一个dict,key是"title"和"paragraphs". 也就是说data[“data”]中每一个元素是一篇文章，
SQuAD文本理解挑战赛十大模型解读
Paper weekly
01-13 3869
在斯坦福大学发起的 SQuAD（Stanford Question Answering Dataset）文本理解挑战赛中，微软亚洲研究院和阿里巴巴的 R-NET 模型和 SLQA 模型在 EM 值（表示预测答案和真实答案完全匹配）上分别以 82.650 和 82.440 的成绩率先超过人类（82.304）。作者丨胡明昊学校丨国防科学技术大学博士生研究方向丨自动问答系统引言教机器学会阅读是近期自然语
SQuAD2.0来了！新增5万人工撰写问题，且不一定有答案 | ACL最佳短论文
量子位
06-13 1301
允中 发自 凹非寺 量子位 报道 | 公众号 QbitAISQuAD 2.0来了！今日（6月13日），斯坦福NLP团队对外宣称，机器阅读理解数据集SQuAD（Stanfo...
bert-squad模型下载
最新发布
03-04
BERT-SQuAD是一种基于BERT模型问答模型用于阅读理解任务。它在SQuAD（Stanford Question Answering Dataset）数据集上进行训练，可以根据给定的问题和文章段落，预测出最可能的答案。 要下载BERT-SQuAD模型，可以按照以下步骤进行： 1. 首先，你需要下载BERT模型的预训练权重。BERT模型的预训练权重可以在Google的官方GitHub仓库中找到。你可以通过访问以下链接来下载：https://github.com/google-research/bert 2. 在该仓库中，你可以找到多个预训练的BERT模型，包括不同大小和配置的模型。选择适合你需求的模型，并下载对应的权重文件。 3. 一旦你下载了BERT模型的预训练权重，你可以使用Python的TensorFlow或PyTorch库加载这些权重，并在自己的代码中使用它们。 4. 对于BERT-SQuAD模型，你可以在Hugging Face的Transformers库中找到预训练的版本。Transformers库提供了方便的接口来加载和使用BERT-SQuAD模型。你可以通过以下链接访问Transformers库：https://github.com/huggingface/transformers 5. 在Transformers库中，你可以找到BERT-SQuAD模型的相关文档和示例代码，以帮助你使用该模型进行问答任务。 希望以上信息对你有帮助！如果你有任何进一步的问题，请随时提问。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值