BERT笔记

已于 2023-01-09 21:19:17 修改
阅读量249 收藏
点赞数
分类专栏： NLP 文章标签： bert 人工智能 深度学习
于 2022-10-13 21:41:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40222848/article/details/127307007
版权

input_ids有，inputs_embeds就必须None 

 

 

打乱，就取前pred个词

 0填充，填充几无所谓，后面都会被mask

 

token embedding，字符对应的索引对应的词向量

segment embedding 区分不同的句子，通常用0和1区分不同的句子，EA-0，EB-1

三个部分相加作为模型的输入

nsp下一个句子预测，挑选样本的时候，不同document片段作为负样例，相同document连续片段作为正样例，

第一个字符cls最后的输出，去接linear层，做二分类任务

另一个预训练任务是MLM任务，把整个输入句子中的部分词汇掩盖住，让模型去预测当前的词汇，红色一个掩盖的词汇，

 1，7，13，6字符对应的索引，也就是把字符转化为数字之后，它是哪些数字，1就是CLS符号，

 每个embedding是768个维度，

把文本转成数字

 init初始化函数中有一个ignore_index，忽视哪些索引，默认是负一百，补零的位置不参与计算，可以让没有被mask的位置不参与到损失函数的计算

 

 BERT的self-attention解决无法利用上下文信息

BERT是真正的双向编码，ELMo是拼接的双向编码

BERT做特征向量提取，

 粗暴，所有batch所有样本，设为同一长度

max_pred, 5个token去做mask

d_model, word embedding，segment embedding，position embedding维度

d_ff，全连接神经网络的维度

n_segment, 两句话是否相邻

intermediate，output构成全连接 

fu_gui_mu_dan
关注
专栏目录
Bert代码详解（一）
cpluss的博客
03-12 2万+
这是bert的pytorch版本（与tensorflow一样的，这个更简单些，这个看懂了，tf也能看懂），地址：https://github.com/huggingface/pytorch-pretrained-BERT 主要内容在pytorch_pretrained_bert/modeling文件中。 由于这几天要参见计算所复试，超级紧张，所以先把草稿贴在这里，复试过了再加以完善！！！嘤嘤...
【HuggingFace Transformers】input_ids与inputs_embeds的区别
AI小白的学习记录，欢迎交流~
07-11 586
在使用 BERT 模型时，input_ids 和 inputs_embeds都是用于表示输入数据的，但它们有不同的用途和数据格式。以下是它们的区别和详细解释
【Transformers】第 3 章：Transformers剖析
sikh_0529的博客
11-09 2585
在中，我们看到了如何微调和评估变压器。现在让我们看看它们是如何在幕后工作的。在本章中，我们将探索变压器模型的主要构建块以及如何使用 PyTorch 实现它们。我们还将提供有关如何在 TensorFlow 中执行相同操作的指导。我们将首先专注于构建注意力机制，然后添加使转换器编码器工作所需的点点滴滴。我们还将简要介绍编码器和解码器模块之间的架构差异。在本章结束时，您将能够自己实现一个简单的变压器模型！虽然对于 Transformer 架构的深入技术理解通常不需要。
怎么拿到BERT任意层的embedding结果
weixin_42175217的博客
02-15 3317
本方法基于hugginface的transformers项目改造 过程其实很简单，基于TFBertMainLayer下的call函数做了改造，如果直接用self.bert的输出其实就是CLS token 的结果。 使用时同样可以使用from_pretrained来加载下载好的BERT模型参数， 然后把输入的数据整理为input_ids, attention_mask,token_type_ids格式即可。 使用tf.datasets也可。 from transformers.modeling_t
【NLP】Transformers 源码阅读和实践
fengdu78的博客
01-15 2320
本文主要针对HuggingFace开源的 transformers，以BERT为例介绍其源码并进行一些实践。主要以pytorch为例 (tf 2.0 代码风格几乎和pytorch一致)，...
李宏毅 bert笔记
最新发布
08-23
关于BERT笔记，通常会包括以下几个部分： 1. **基础知识**：介绍BERT的基本原理、模型架构以及预训练和微调的过程。 2. **技术细节**：可能会探讨自注意力机制、嵌入层、掩码预测任务等核心组件。 3. **实践应用**：...
在colab跑bert笔记和kaggle跑数据方法
yueru2wan的博客
05-01 459
1.按requestment安装依赖 2.配置cuda版本 1.查看现在cuda版本 !nvcc --version 查看colab加载的Linux系统的版本 2.卸载当前Colab的CUDA #Uninstall the current CUDA version !apt-get --purge remove cuda nvidia* libnvidia-* !dpkg -l | grep cuda- | awk '{print $2}' | xargs -n1 dpkg --pu
李沐69_BERT训练集——自学笔记
Rrrrrr900的博客
04-26 1173
mlm的前向推断返回encoded_X的所有掩蔽位置mlm_positions处的预测结果mlm_Y_hat。我们将tokens定义为长度为8的2个输入序列，其中每个词元是词表的索引。下面的MaskLM类来预测BERT预训练的掩蔽语言模型任务中的掩蔽标记。get_tokens_and_segments将一个句子或两个句子作为输入，然后返回BERT输入序列的标记及其相应的片段索引。通过掩码下的预测词元mlm_Y的真实标签mlm_Y_hat，我们可以计算在BERT预训练中的遮蔽语言模型任务的交叉熵损失。
多模态bert-基于双流的bert 笔记 ViLBert、LXMERT、IMAGEBERT
机器学习专栏
04-10 4523
ViLBert paper: ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks 基于双流的 ViLBERT，在一开始并未直接对语言信息和图片信息进行融合，而是先各自经过 Transformer 的编码器进行编码。分流设计是基于这样一个假设，...
BERT学习笔记一：运行BERT模型代码前-附件资源
03-02
BERT学习笔记一：运行BERT模型代码前-附件资源
nlp-with-transformers系列-03_剖析transformers模型
yanqianglifei的专栏
03-15 2075
transformers模型剖析
bert pytorch 序列标注_手把手教你用Pytorch-Transformers——部分源码解读及相关说明（一）...
weixin_39694264的博客
12-18 1829
简介Transformers是一个用于自然语言处理(NLP)的Python第三方库，实现Bert、GPT-2和XLNET等比较新的模型，支持TensorFlow和PyTorch。本文介对这个库进行部分代码解读，目前文章只针对Bert，其他模型看心情。手把手教你用PyTorch-Transformers是我记录和分享自己使用 Transformers 的经验和想法，因为个人时间原因不能面面俱到，有时...
转载-BERT源码详解（一）——HuggingFace Transformers源码解
卢克治-BJTU-NLP-的博客
01-02 1529
众所周知，BERT模型自2018年问世起就各种屠榜，开启了NLP领域预训练+微调的范式。到现在，BERT的相关衍生模型层出不穷（XL-Net、RoBERTa、ALBERT、ELECTRA、ERNIE等），要理解它们可以先从BERT这个始祖入手。 HuggingFace是一家总部位于纽约的聊天机器人初创服务商，很早就捕捉到BERT大潮流的信号并着手实现基于pytorch的BERT模型。这一项目最初名为pytorch-pretrained-bert，在复现了原始效果的同时，提供了易用的方法以方便在这一强大模型
NLP预训练模型2 -- BERT详解和源码分析
anshiquanshu的专栏
07-21 3757
1 模型结构 论文信息：2018年10月，谷歌，NAACL 论文地址 https://arxiv.org/pdf/1810.04805.pdf 模型和代码地址 https://github.com/google-research/bert BERT自18年10月问世以来，就引起了NLP业界的广泛关注。毫不夸张的说，BERT基本上是近几年来NLP业界意义最大的一个创新，其意义主要包括 大幅提高了GLUE任务SOTA performance（+7.7%），使得NLP真正可以应用到各生产环境中，大大推进
从各大顶会看对比学习在句子表征研究进展
Kaiyuan_sjtu的博客
05-20 358
作者|上杉翔二悠闲会·信息检索整理|NewBeeNLP前已经有博文整理过了对比学习的概念，比较重要且流行的文章，和一些已经有的应用：YYDS！对比学习还能这么用？从顶会论文看对比学习的应用！继续！从顶会论文看对比学习的应用！本篇博文继续整理几篇代表性的对比学习在句子表征上的文章们。SimCSESimCSE: Simple Cont...
NLP预训练模型2 -- BERT原理详解和源码分析
热门推荐
谢杨易的博客
06-22 2万+
1 模型结构 BERT自18年10月问世以来，就引起了NLP业界的广泛关注。毫不夸张的说，BERT基本上是近几年来NLP业界意义最大的一个创新，其意义主要包括 大幅提高了GLUE任务SOTA performance（+7.7%），使得NLP真正可以应用到各生产环境中，大大推进了NLP在工业界的落地 预训练模型从大量人类优质语料中学习知识，并经过了充分的训练，从而使得下游具体任务可以很轻松的完成fine-tune。大大降低了下游任务所需的样本数据和计算算力，使得NLP更加平民化，推动了在工业界的落地。 pr
bert模型的输出
junjian Li
12-30 1万+
bert模型的输出可以包括四个： last_hidden_state：torch.FloatTensor类型的，最后一个隐藏层的序列的输出。大小是(batch_size, sequence_length, hidden_size) sequence_length是我们截取的句子的长度，hidden_size是768. pooler_output： torch.FloatTensor类型的，[CLS]的这个token的输出，输出的大小是(batch_size, hidden_size) hidden_sta
Bert代码解读记录
yuexiaomao的博客
01-18 733
代码学习的是前一篇博客中pytorch的代码的BertForTokenClassification模型，run的是ner例子：https://github.com/huggingface/transformers/blob/master/examples/run_ner.py。 1、模型概览： 使用的模型是：multi_cased_L-12_H-768_A-12.zip，https://git...
NLP模型应用之二：BERT
谢彦的技术博客
02-06 2183
引入 BERT是谷歌在2018年10月发布的自然语言处理模型，它在十一项自然语言任务中打破记录，在有些任务中有显著提高，并超越了人类水平，被誉为开启了NLP的新时代。虽然，在之后又出现了大量新算法，这两年BERT仍然是各大比赛以及产品中的主流算法。论文地址：https://arxiv.org/pdf/1810.04805.pdf。 BERT全称为Bidirectional Encoder Re...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值