bert下游_BERT---容易被忽视的细节

最新推荐文章于 2024-01-10 16:48:50 发布
最新推荐文章于 2024-01-10 16:48:50 发布
阅读量280 收藏
点赞数
文章标签： bert下游
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_29247219/article/details/112535001
版权
本文深入探讨BERT模型的双向性体现在预训练任务遮蔽语言模型（MLM）中，以及预训练过程的两个任务：MLM和下一句预测（NSP）。在MLM中，15%的词汇被处理，80%替换为[MASK]，10%保持不变，10%随机替换，以解决预训练与微调的不匹配问题。
摘要由CSDN通过智能技术生成

最近面试，被问到一些模型的相关细节，所以又重新读了一些论文

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

  • 论文地址：Bert论文

细节一：Bert的双向体现在什么地方？

Bert可以看作Transformer的encoder部分。Bert模型舍弃了GPT的attention mask。双向主要体现在Bert的预训练任务一：遮蔽语言模型（MLM）。如：

小 明 喜 欢 [MASK] 度 学 习 。

这句话输入到模型中，[MASK]通过attention均结合了左右上下文的信息，这体现了双向。

attention是双向的，但GPT通过attention mask达到单向，即：让[MASK]看不到 度 学 习这三个字，只看到上文 小 明 喜 欢 。

细节二：Bert的是怎样预训练的？

预训练任务一：遮蔽语言模型（MLM）

将一句被mask的句子输入Bert模型，对模型输出的矩阵中mask对应位置的向量做分类，标签就是被mask的字在字典中对应的下标。这么讲有点抽象，如图：

最低0.47元/天 解锁文章
EDISF
关注
利用BERT和覆盖率机制改进的HiNT文本检索模型
罗伯特技术屋
07-01 56
为有效提升文本语义检索的准确度，本文针对当前文本检索模型衡量查询和文档的相关性时不能很好地解决文本歧义和一词多义等问题，提出一种基于改进的分层神经匹配模型(hierarchical neural matching model，HiNT)。
BERT:修改官方bert以便执行下游任务
05-10
伯特 修改官方bert以便执行下游任务 支持OQMRC，LCQMC，知识提炼，对抗性干扰和bert + esim进行多项选择，分类和语义匹配 对于OQMRC，对于LCQMC，我们可以在开发集上获得0.787％，对于测试集，我们可以得到0.864。 支持任务预训练和微调 对于下游任务，我们将蒙版lm添加为辅助损耗，可以将其视为降噪并类似于字丢失，以实现稳定的性能。
NLP-了解BERT下游任务
weixin_44077556的博客
11-30 2万+
MNLI：大规模分类任务，目标是预测第二个句子相对于第一个句子是包含，矛盾还是中立。QQP：二分类任务，预测Quora在两个语义问题上是否等效。STS-B：语义文本相似性基准，从新闻头条或者其他来源提取句子对的集合。然后按分值标注，表示两个句子在语义上多相似。MRPC：自动从在线新闻源中提取句子对组成，并带有人工标注，以说明句子对中的句子在语义上是否等效。SWAG: 对抗生成的情境数据集包含113k个句子对完整示例，用于评估扎实的常识推理。给定一个句子，任务是在四个选择中选择最合理的连续性。
【BERT下游任务】意图分类：1. 数据处理与加载
尊新必威的博客
09-06 1711
目录一、数据形式二、标签集：将所有出现的意图标签统计出来三、样本读取为样本实例四、将数据处理成可以喂给模型的特征 任务简介： 学习一个简单的bert意图分类项目，了解bert进行nlp任务时的流程。 任务说明： 标签类别收集 训练样本读取 样本转化为符合BERT模型的特征 一、数据形式 使用的atis数据集已经将训练集、验证集和测试集区分好 label文件保存了意图识别的标签 seq.in文件每行保存了一句输入样本 seq.out文件每行保存了样本的NER标签序列，以空格隔开(ner任
bert下游_BERT下游任务finetune列表
weixin_39939665的博客
12-24 513
BERT下游任务finetune列表finetune基于官方代码改造的模型基于pytorch/tensorflow双版本*** 2019-10-24: 增加ERNIE1.0, google-bert-base, bert_wwm_ext_base部分结果, xlnet代码和相关结果 ****** 2019-10-17: 增加tensorflow多gpu并行 ****** 2019-10-16: 增...
BERT四大下游任务
Chile_Wang的博客
02-07 6933
前两期我们讲到了BERT的原理与应用&其他预训练模型 这一期我们讲一下 自然语言处理四大下游任务 正如8.1.2节所说，BERT等预训练模型的提出，简化了我们对NLP任务精心设计特定体系结构的需求，我们只需在BERT等预训练模型之后下接一些网络结构，即可出色地完成特定任务。 原因也非常简单，BERT等预训练模型通过大量语料的无监督学习，已经将语料中的知识迁移进了预训练模型的E...
（阅读）MPC-BERT: A Pre-Trained Language Model for Multi-Party Conversation Understanding
aiyouyou_的博客
10-29 1086
论文地址 代码 标题 MPC-BERT：一种用于多方对话理解的预训练语言模型 摘要 最近，用于多方对话（MPC）的各种神经网络模型在诸如接收人（addressee）识别、说话人识别和回复预测等任务上取得了令人印象深刻的改进。然而，现有的MPC方法通常都是将对话者和对话语句单独表征，而忽略了MPC固有的复杂结构，这种结构可以提供关键的对话者和对话语句语义信息，从而增强会话理解过程。为此，我们提出了MPC-BERT，这是一个预训练的MPC理解模型，它考虑在一个带有多个精心设计的自监督任务的统一模型中学
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
lpty的博客
01-15 3438
引言 Google在2018年发出来的论文，原文地址：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
BERT详解：开创性自然语言处理框架的全面指南
读芯术的博客
10-27 1296
全文共9095字，预计学习时长18分钟想象一下自己正在进行一个非常好的数据科学项目，还为了获得较好的结果用了最前沿的数据库。然后几天后，新一代前沿框架的出现，导致现有模型...
总结：大模型应用技术原理
最新发布
安静的软件工程师
01-10 1776
大模型应用技术原理
EdiBERT, a generative model for image editing(一种用于图像编辑的生成模型)
qq_39454370的博客
11-20 547
计算机视觉的进步正在推动图像处理的极限，生成模型在各种任务中对详细图像进行采样。然而，通常针对每个特定任务开发和训练专门的模型，即使许多图像编辑任务有相似之处。在去噪、修复或图像合成中，人们总是旨在从低质量图像生成逼真的图像。在本文中，我们的目标是朝着统一的图像编辑方法迈出一步。为此，我们提出了 EdiBERT，这是一种在由矢量量化自动编码器构建的离散潜在空间中训练的双向变换器。我们认为这种双向模型适用于图像处理，因为任何补丁都可以有条件地重新采样到整个图像。使用这个独特而直接的训练目标。
#最全面# 使用 Bert 解决下游 NLP 实际任务
lch551218的博客
04-16 3865
文章目录1 四大NLP下游任务1 句子对分类任务1.1 MNLI1.2 QQP1.3 QNLI1.4 STS-B1.5 MRPC1.6 RTE1.7 SWAG2 单句子分类任务2.1 SST-22.2 CoLA3 问答任务3.1 SQuAD v1.14 单句子标注任务2 使用Bert实现自动文本摘要 1 四大NLP下游任务 BERT在概念上很简单，在经验上也很强大。它推动了11项自然语言处理任务的最新技术成果，而这11项NLP任务可分类为四大自然语言处理下游任务。这四类任务分别是：句子对分类任务、单句子分类
使用Bert获得句向量，用于下游任务
u011340759的博客
05-25 2750
处理文本分类任务时，除了语义信息可能还可以使用一些其他结构化特征（如语料来源，说话人信息等等）。此时可以使用Bert获取原始语料的句向量，再结合已知的结构化特征，训练适用于下游任务的分类器。 1. 微调Bert预训练模型 见 https://blog.csdn.net/u011340759/article/details/106331620 2. 使用Bert特征抓取接口 extract_features.py 改写自己的样本输入函数 def read_examples(input_file): """
【NLP】(task5)BERT应用到下游任务、训练和优化
发现问题，并解决问题，批判性思维
08-24 3428
文章目录前言三、BERT-based Models3.1 BertForPreTraining3.2 BertForSequenceClassification3.3 BertForMultipleChoice3.4 BertForTokenClassification3.5 BertForQuestionAnswering四、BERT训练和优化4.1 Pre-Training4.2 Fine-Tuning4.2.1 AdamW4.2.2 WarmupReference 前言 接着上一小节，我们对Huggi
BERT_Pytorch下游任务-萌新向
LinkList____的博客
07-04 846
Paper：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
BERT介绍及中文文本相似度任务实践
ling620的专栏
07-05 1万+
本文内容列表BERT简介BERT源码分析1、从git上克隆代码2、下载预训练模型3、代码结构(fine-tuning)4、 run_classifier.py文件（中文文本相似度任务fine-tuning）1. 自定义数据类2. 增加自定义类3. 函数调用参数4. 训练模型5. 总结 BERT简介 BERT全称 Bidirectional Encoder Representations from ...
Bert的文本编码tokenizer、分隔符(MASK/CLS/SEP)编码
热门推荐
凝眸伏笔的博客
08-02 2万+
1.文本编码 bert模型的输入是文本，需要将其编码为模型计算机语言能识别的编码。这里将文本根据词典编码为数字 2.分隔符编码 特殊的分隔符号： [MASK] ：表示 需要带着[]，并且mask是大写，对应的编码是103 [SEP]: 对应的编码是102 [CLS]:对应的编码是101 []:对应的编码是 eg： from transformers import BertTokenizer bert_name = 'bert-base-chinese' tokenizer = ..
文本分类：Bert微调并完成下游任务
u011340759的博客
05-25 2598
1. 克隆Bert并获取预训练模型 $ git clone https://github.com/google-research/bert.git 依赖和环境: Tensorflow-gpu version 1.15 （不建议使用TF2） Python version: 3.7 CUDA Version: 10.2 预训练模型： https://github.com/google-research/bert 2. 改写自己的分类器读写函数 run_classifier.py class MyProc.
bert_extractive_summarizer-0.10.1-whl压缩包下载
资源摘要信息:"Python库 | bert_extractive_summarizer-0.10.1-py3-none-any.whl" Python库"bert_extractive_summarizer-0.10.1-py3-none-any.whl"是一个基于深度学习模型BERT（Bidirectional Encoder ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值