BERT详解

最新推荐文章于 2024-01-18 01:10:42 发布
最新推荐文章于 2024-01-18 01:10:42 发布
阅读量827 收藏 2
点赞数
文章标签： bert 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Grateful_Dead424/article/details/126368445
版权
BERT模型基于Transformer架构，其基础版使用12层encoder，大型版本则使用24层。预训练阶段，BERT利用无标注语料进行MLM和NSP任务，其中MLM假设mask独立但实际并非如此。NSP任务包括主题预测和连贯性判断，有助于提升模型在下游任务的表现。为优化Bert在特定领域的效果，通常会进行领域适应和微调。同时，对于脱敏数据，也有策略将其用于BERT的训练。
摘要由CSDN通过智能技术生成

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
bert base使用12层encoder（不是transformer）
bert large使用24层encoder
在这里插入图片描述
在这里插入图片描述

Bert输入部分详细解读

在这里插入图片描述
cls、sep存在因为bert预训练任务中有nsp任务（判断两个句子之间的关系）
将cls的输出向量接一个二分类器，去做一个二分类任务
在这里插入图片描述
在这里插入图片描述

预训练之MLM详解

在这里插入图片描述
bert在预训练的时候，使用的是大量的无标注的语料
在这里插入图片描述
在这里插入图片描述在这里插入图片描述
认为mask是相互独立的，然而mask不是相互独立的
在这里插入图片描述

在这里插入图片描述

预训练之NSP任务详解

在这里插入图片描述
主题预测：两个样本是不是来自同一文档（很简单）
连贯性预测：两个段落是不是上下文关系
在这里插入图片描述

如何提升Bert下游任务表现

在这里插入图片描述
在这里插入图片描述
领域——>任务——>微调
在这里插入图片描述
bert是静态mask，我爱吃饭每次mask吃
在这里插入图片描述

脱敏数据如何使用bert

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Grateful_Dead424
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
BERT详解:bert文本分类怎么做的
11-30 4502
BERT详解:bert文本分类怎么做的
Transformer & BERT 详解第1篇（共4篇）
cyy2learn的博客
01-15 788
本系列文章围绕以下几个主题来详细解读Transformer和BERT的原理和发展 Transformer 模型详解 Transformer在CV,NLP,推荐系统的发展与应用 BERT模型详解 BERT最新发展与应用 本篇文章：Transformer模型详解 整体结构 Encoder Decoder Positional Encoding Self Attention Add & Norm 1. 整体结构 Transformer主要由两大部分组成：Encoder &amp.
Bert
10-25
Bert
BERT从零详细解读：脱敏数据中如何使用BERT
weixin_40064300的博客
04-24 671
如何在脱敏数据中使用BERT； 基于此语料如何使用NSP任务； 对于脱敏语料使用BERT，一般可以分为两种： 第一种就是如果语料很大，完全直接从零开始基于语料，训练一个新的BERT出来使用；如果语料比较小，bert训练出来效果不会特别好，相当于会欠拟合，因为参数量很大，但是数据很少，并没有训练得特别好，它就会欠拟合。 这个时候我们就可以按照词频，把脱敏数字映射到中文或者其它语言。假设我们使用中文，就映射到中文bert的词汇中，然后使用对照词汇的权重对脱敏bert做初始化，然后基于新的中文语料训练BERT.
BERT
wangxiaosu的专栏
04-12 332
GitHub：https://github.com/google-research/bert 一、准备用于训练的数据：（参考：Pre-training with BERT） 1、从GitHub的说明可知，用于训练的语料（纯文本）可以放在多个文件中，每个文件中一个句子放在一行，每个文件中来自同一篇文档的句子之间没有空行，不同文档之间的用一个空行间隔，以示区别不同的文档。 2、获得从纯文本到用于...
BERT 详解
Decennie的博客
08-12 4738
目录1. Language Model Embedding1.1 Feature-based方法1.2 Fine-tuning方法2.BERT模型介绍3. 预训练3.1 Masked Language Model3.2 Next Sentence Prediction3.3 模型输入3.4 模型训练3.4.1 数据组成3.4.2 训练参数3.4.3 两种模型选择5. Fine-tuning6. BERT与GPT7. 实验结果7.1 9项GLUE任务: `General Language Understand
【BERT】详解
最新发布
L聪记博客
01-18 2515
BERT 详解
BERT简述
BennyShi1998的博客
03-21 1588
BERT 下 面 详 细 解 释 一 下 BERT 的 特 点 。 首 先 BERT 只 有 encoder 没 有 decoder 。 这 很 容 易 理 解 ， 因 为 BERT 是 一 个 通 用 的 预 训 练 模 型 ， 可 以 接 各 种 下 游 任 务 ， 它 的 输 出 只 是 文 本 表 示 ， 所 以 不 能 使 用 固 定 的 decoder 。 第 二 点 ， BERT...
Bert详解.pptx
06-15
本课件是对论文 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 的导读与NLP领域经典预训练模型 Bert 的详解，通过介绍NLP领域对通用语言模型的需求，引入 Bert 模型，并对其...
人工智能bert模型详解
03-05
人工智能BERT模型详解 人工智能中，BERT模型是目前最流行的语言模型之一，基于Transformer结构的预训练语言模型，可以用于各种自然语言处理任务。下面是对BERT模型的详细解释。 Sentence-BERT（SBERT）是BERT模型...
Python自然语言处理-BERT实战
10-26
给大家分享一套课程——Python自然语言处理-BERT实战，提供全部课程资料，包括PPT,数据,代码。 Python自然语言处理-BERT模型实战课程旨在帮助同学们快速掌握当下NLP领域最核心的算法模型BERT的原理构造与应用实例。...
BERT介绍
热门推荐
triplemeng的博客
10-20 8万+
这篇介绍以下最近大热的[BERT](https://arxiv.org/pdf/1810.04805.pdf)，它在11个NLP任务中刷新了成绩，效果确实惊人。
BERT（Transformer Encoder）详解和TensorFlow实现（附源码）
专注AI领域
06-07 3802
单向语言模型会限制模型的表征能力，使其只能获取单方向的上下文信息，而BERT利用双向注意力来构建整个神经网络，因此最终生成能融合左右上下文信息的深层双向语言表征，即真正意义上的Bi-Directional Context信息。在实际的训练中，通常另训练集中的50%符合IsNext关系，另外50%的第二句话随机从语料中提取，它们的关系是NotNext，并将这个关系保存在[CLS]中。下图展示了BERT在11种各不同任务中的模型，它们只需要在BERT的基础上再添加一个输出层便可以完成对特定任务的微调。
【BERT】深入浅出讲解BERT算法
程序星空实验室
03-22 1万+
1.预训练模型简介 在之前的文章中，我们介绍了非常有名的BiLSTM-CRF算法，其算法性能和精确度是鹤立鸡群，下面我们介绍Google推出的“王炸级”预训练模型Bert算法，其在NLP任务中刷新了多项记录，并取得state of the art的成绩。 Bert（Bidirectional Encoder Representations from Transformers）算法，顾名思义，是...
Bert简介
qq_52852138的博客
03-27 3734
文章目录1.前言2.Bert2.1主要任务2.1.1.完形填空2.1.2.预测下一个句子2.2.输入表示2.3.MLM（Mask Language Model）2.4.NSP2.5.总体架构3.Fine-tuning 1.前言 监督学习：给定训练数据 x 和 标签 y。使得 Model 对 x 的输出越接近 y 越好 自监督学习：没有标签 y，我们将数据分成两份，使得 Model 对其中一部分的输出越接近另一部分越好 BERT 就是自监督学习，利用非 Mask 的来预测 Mask 的部分 2.Bert
【BERT】从零解读笔记
Vincy_King
01-04 2207
一、BERT 整体模型架构 BERT的encoder部分，主要分成了三个内容：输入部分、多头注意力机制、前馈神经网络。 1. 为什么说是基础架构呢？ 因为BERT使用的是多个encode堆叠在一起，其中BERT-base使用的是12层encoder，BERT-large使用的是24层的encoder。 注意：有一点十分容易混淆，是12层encoder，而不是12层transformer。transformer在文章中应该是6个encoder堆叠在一起形成编码端，6个decoder堆叠在一起形成解码端。 2
bert简单介绍和实践
every place is the center of the universe
03-13 1万+
一，安装环境 安装Anaconda,打开Anaconda prompt 创建python=3.7版本的环境，取名叫py36 conda create -n DP python=3.7 激活环境 conda activate DP (conda4之前的版本是：source activate py36 ) 退出环境 conda deactivate 下载如下包： xlwd,xlrd 1.2.0 transformers 4.1.1 pytorch 1.6 numpy 1.19.4 pandas 1.1
伯特Bert详解LAMP+LNMP环境搭建与配置教程
在兄弟连Linux新版视频教程中，主要讲解了LAMP（Linux, Apache, MySQL, PHP）环境的搭建与配置步骤，这是一种广泛用于Web开发的开源技术堆栈。以下详细阐述了各个关键知识点： 1. **LAMP环境构建思路**： ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值