【深度学习】BERT(Bidirectional Encoder Representations from Transformers)

已于 2024-02-09 13:50:11 修改
阅读量430 收藏 3
点赞数 6
分类专栏： NLP【深度学习】 文章标签： 深度学习 bert 人工智能
于 2024-02-07 09:26:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_50857066/article/details/136054785
版权

一、Bert的模型结构

在这里插入图片描述

trm

在这里插入图片描述

Input

Input = token emb + segment emb + position emb

  • CLS: classifier 分类（NLP分类任务）
  • SEP：seprator 分隔两句语料，当系统发现SEP之后，就是你当前这句话就已经结束了
  • ##ing ： 字词分隔，把一个复杂的英文单词把它拆分成对应的>=2 tokens, 像原token是playing，拆分成play + ing
    在这里插入图片描述
  • 将CLS的输出向量接一个二分类器，做一个二分类任务。
  • Segment Embeddings 需要对两个句子进行区分，假设第一个句子全用0来表示，第二个句子都用1来表示，代表两个句子
  • Position Embeddings 的初始位置是随机初始化，让模型自己去学习更新。

MLM掩码语言模型

  • AR(autoregressive) 自回归模型，只考虑单侧的信息，典型的就是GPT
  • AE(autoencoding) 自编码模型: 从损坏的输入数据中预测重建原始数据，可以使用上下文的信息，Bert就是使用的AE
    在这里插入图片描述

mask的概率问题

在这里插入图片描述
网友：为了解决pretraining 和 fine tuning 的 mismatch问题

NSP

NSP样本如下:

  1. 从训练语料库中取出两个连续的段落作为正样本
  2. 从不同的文档中随机创建一堆段落作为负样本
    缺点：主题预测和连贯性预测合并为一个单项任务。
    • 主题预测：判断两个样本是不是来自同一个文档
    • 连贯性预测：判断两个段落是不是顺序关系

如何微调BERT

微调：预训练模型基础上，添加全连接，softmax
在这里插入图片描述

一般做法：

  1. 获取谷歌中文BERT
  2. 基于任务数据进行微调

BERT的输出

  • 可以做情感识别，监督学习的任务
    在这里插入图片描述
    多句话的文本分类和一句话的文本分类
    在这里插入图片描述
  • O：代表不属于任何一个实体
  • B：begin实体的开始
  • M：中间的实体
  • PER：person指的是一个人名

应用

  • 文本分类
  • 知识问答
不良人大帅
关注
  • 6
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
BERT:BidirectionalEncoderRepresentations fromTransformers代码结构
08-18
BERT:BidirectionalEncoderRepresentations fromTransformers代码结构
BERT： Pre-training of Deep Bidirectional Transformers翻译
09-02
BERT（Bidirectional Encoder Representations from Transformers）是一种深度学习模型，专为语言理解而设计。该模型的创新之处在于其预训练机制，它能够从未标记的文本中学习到深度的双向表示。传统的语言模型往往...
深入理解深度学习——BERT（Bidirectional Encoder Representations from Transformers）：基础知识
热门推荐
冯·诺依曼
06-22 1万+
虽然使用双向编码使得BERT不再具有文本生成能力，但研究结果表明，BERT在对输入文本的编码过程中，利用了每个词的所有上下文信息，与只能使用前序信息提取语义的单向编码器相比，BERT的语义信息提取能力更强。单向编码只会使用“今天天气很”这五个字的信息来推断“（ ）”内的字或词，以人类的经验与智慧，使用概率最大的词应该是：“好”“不错”“差”“糟糕”，而这些词可以被划分为截然不同的两类。双向编码可以利用下文信息“我们不得不取消户外运动”来帮助模型判断，以人类的经验与智慧，概率最大的词应该是：“差”“糟糕”。
Bert（Bidirectional Encoder Representations from Transformers）
北落师门XY的博客
09-21 1998
原理
深入理解深度学习——BERT（Bidirectional Encoder Representations from Transformers）：BERT的结构
冯·诺依曼
06-23 1万+
近年来，受限于可用于监督训练的带标签数据的规模，部分学者认为采用更大的模型无法得到更高的收益，而BERT的出现证明了预训练语言模型采用无监督训练和特定数据集微调训练的模式可以突破这一限制，即更大规模的预训练语言模型总是可以通过模型参数随机初始化和领域数据微调获得更好的性能。有关模型大小与模型能力的对比，BERT的作者在三个任务上测试了不同参数量设置情况下BERT的性能表现，下图所示为不同规模的BERT在不同任务上的性能表现，随着BERT参数量的增大，模型在所有任务上的表现都有明显进步。
论文笔记BERT: Bidirectional Encoder Representations from Transformers
zephyr_wang的博客
09-29 2169
1 简介 本文根据2019年《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》翻译总结的。 BERT: Bidirectional Encoder Representations from Transformers. 应用预训练模型于下游任务有两种策略，分别是feature-based 和 fine-tuning。fine-tuning方法的主要限制是其单向的。BERT采用的fine-tunin
Bert系列：BERT（Bidirectional Encoder Representations from Transformers）原理以及hugging face介绍
凝眸伏笔的博客
04-30 2211
1.预训练语言模型的发展史 2018年，BERT被正式提出。下图1回顾了近年来预训练语言模型的发展史以及最新的进展。预训练语言模型的成功，证明了我们可以从海量的无标注文本中学到潜在的语义信息，而无需为每一项下游NLP任务单独标注大量训练数据。此外，预训练语言模型的成功也开创了NLP研究的新范式[6]，即首先使用大量无监督语料进行语言模型预训练（Pre-training），再使用少量标注语料进行微调（Fine-tuning）来完成具体NLP任务（分类、序列标注、匹配关系判断和机器阅读理解等）。 图1.
BERT：Bidirectional Encoder Representations from Transformers
AI蜗牛之家
01-15 3279
paperauthor questions: Why 15% is masked rather all of the word like word2wec? Why get_pooled_output layer just use the first tokens’ output? run_pretraining line 284 : why add 1e-5 to the reduce(lab...
BERT预训练模型（Bidirectional Encoder Representations from Transformers）-原理详解
Mr_Meng__NLP的博客
12-21 3340
BERT（BidirectionalEncoderRepresentations fromTransformers）近期提出之后，作为一个Word2Vec的替代者，其在NLP领域的11个方向大幅刷新了精度，可以说是近年来自残差网络最优突破性的一项技术了
BERT(Bidirectional Encoder Representations from Transformers)理解
weixin_30425949的博客
12-19 834
BERT的新语言表示模型，它代表Transformer的双向编码器表示。与最近的其他语言表示模型不同，BERT旨在通过联合调节所有层中的上下文来预先训练深度双向表示。因此，预训练的BERT表示可以通过一个额外的输出层进行微调（fine-tuning），适用于广泛任务的最先进模型的构建，比如问答任务和语言推理，无需针对具体任务做大幅架构修改。 一、BERT是如何进行预训练 pre-trainin...
BERT模型：Bidirectional Encoder Representations from Transformer
poppy
01-23 1448
What BERT预训练Transformer的encoder网络，提高准确率 How 随机遮挡一个或两个单词，让encoder网络根据上下文来预测遮挡单词 将两个句子放在一起，判断是否是同一文中的相邻句子。 BERT通过以上两个任务来预训练transformer网络中的encoder网络。 Task1:Predict Masked Words 预测被遮挡的单词流程 transformer的encoder网络不是一对一映射，而是多对一。在模型中，输入数据会被随机遮挡15%的单词，当被遮挡的单词进入em
BERT:Bidirectional Encoder Representation from Transformers
qq_37435458的博客
03-03 1418
知乎：https://zhuanlan.zhihu.com/p/98855346 BERT的全称为Bidirectional Encoder Representation from Transformers，是一个预训练的语言表征模型。 它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的masked language model（MLM），以致能生成深度的双向语言表征。 BERT论文发表时提及在11个NLP（Natural Language Proc
基于深度学习Bert模型的命名实体识别.zip
03-28
Bert，全称为Bidirectional Encoder Representations from Transformers，是由Google开发的一种双向Transformer模型。与之前的预训练模型（如ELMo和GPT）不同，Bert能够同时考虑上下文的左右信息，这大大提高了其...
python198(bert)深度学习文本相似度检测系统设计.rar
04-27
标题中的“python198(bert)深度学习文本相似度检测系统设计”表明这是一个使用Python编程语言，并基于BERT（Bidirectional Encoder Representations from Transformers）模型的深度学习项目，旨在实现文本相似度检测...
毕业设计：Python （bert）深度学习文本相似度检测系统设计（源码 + 数据库）
04-29
BERT（Bidirectional Encoder Representations from Transformers）是由Google团队提出的预训练语言模型，其创新之处在于引入了双向Transformer架构，能同时考虑上下文信息，极大地提升了语义理解能力。BERT在多个...
深度学习9--目标检测
m0_63860007的博客
08-15 487
假设阈值是0.9,那就忽视所有阈值小于0.9的预测框。AP 是对某一个类检测的好坏，mAP。旁的指示牌和前方的红绿灯颜色。对于自动检测的算法，有两个要求，一个是快， 一个是准。FN 是预测是负样本，预测错了，其实是正样本。目标检测不仅可以检测数字，而且可以检测动物的种类、汽车的。v1模型速度之所以快是因为它的候选框的数量并不多。卷积核的参数，而所需要的数据集就是图片数据和图片标签。模型的收敛速度，也可以起到轻微的正则化的效果，降低模型过拟合。计算，利用两个框的交集面积与并集面积的比值就。
基于LSTM的交通流量预测算法及Python实现
最新发布
u013571432的博客
08-17 798
LSTM通过其内部的记忆单元和门控机制（遗忘门、输入门、输出门），能够捕获数据中的长期依赖关系，这对于预测未来的交通流量至关重要。然后，细胞状态通过tanh函数进行处理（将其值规范化到-1和1之间），并与sigmoid门的输出相乘，最终得到需要输出的部分。（4）输出门：基于新的细胞状态和(h_{t-1})、(x_t)，计算输出门的sigmoid输出，并据此确定隐藏状态(h_t)。全连接层：在LSTM层之后，通常添加一个或多个全连接层（也称为密集层或线性层），用于将LSTM层的输出映射到最终的预测目标上。
基于RNN的交通流量预测算法及Python实现
u013571432的博客
08-17 930
以下是一个简化的使用TensorFlow和Keras API的RNN（具体可以是简单的RNN单元，但考虑到长期依赖性问题，实践中更常用LSTM或GRU）来实现交通流量预测的示例代码。在实际应用中，需要考虑序列长度、模型复杂度、激活函数、优化算法、正则化和过拟合、并行化和加速以及模型解释性等因素来选择合适的RNN模型和训练策略。优化算法的选择和参数设置对模型的训练效率和收敛速度有很大影响。在实际应用中，您可能还需要对模型进行调优，包括调整RNN层的单元数、层数、优化器参数等，以达到最佳的预测性能。
锂电池剩余寿命预测 | Matlab基于LSTM-Attention的锂电池剩余寿命预测
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
08-14 591
锂电池剩余寿命预测 | Matlab基于LSTM-Attention的锂电池剩余寿命预测
深度学习三大巨头：Transformer, BERT与GPT解析
BERT（Bidirectional Encoder Representations from Transformers）则是2018年由Google发布的预训练模型。BERT首次实现了在预训练阶段对文本的双向理解，通过Masked Language Modeling（遮蔽语言建模）和Next ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值