BERT的get_sequence_output与get_pooled_output方法

最新推荐文章于 2023-08-10 12:10:05 发布
最新推荐文章于 2023-08-10 12:10:05 发布
阅读量6.1k 收藏 11
点赞数 4
文章标签： 自然语言处理 tensorflow 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_30545761/article/details/107664574
版权

BERT的get_sequence_output方法获取token向量是如何得到的？

通过如下方法得到，实际上获取的是encoder端最后一层编码层的特征向量。

BERT的get_pooled_output方法获取的句子向量是如何得到的？

通过如下方法得到，实际上获取的是[CLS]这个token对应的向量，把它作为整个句子的特征向量。

BERT代码中如何区分是预训练还是微调的，预训练代码是否开源了？
BERT模型开源代码中有一个run_pretraining.py的脚本，该脚本实现了预训练的逻辑。此外，关于下游任务的微调，官方也提供了对应的任务类脚本，如run_classifier.py等。

草帽夫卡
关注
LLM-微调：Peft库--get_peft_model()--＞在llm基座模型的基础上注入Lora模块（加载流程）【注入的Lora模块的初始参数是随机初始化的】
u013250861的博客
10-22 1276
【代码】LLM-微调：Peft库--get_peft_model()函数【在llm基座模型的基础上加载Lora模块（Lora模块的初始参数是随机初始化的）】
BERT学习笔记：run_classifier.py
Dong Hsueh
06-11 6468
BERT 源码初探之 run_classifier.py 本文源码来源于 Github上的BERT 项目中的 run_classifier.py 文件。阅读本文需要对Attention Is All You Need以及BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding两篇论文有所了解，...
Bert的pooler_output是什么？
iioSnail的博客
11-21 1万+
在学习bert的时候，我们知道bert是输出每个token的embeding。但在使用hugging face的bert模型时，发现除了还多了一个输出。许多人可能以为是[CLS]token的embedding，但使用比较后，发现又不是，然后就很奇怪。
【Coding】从BertForSequenceClassification分类出pooled_output作为final feature
SUFEHeisenberg的博客
03-01 1946
从BertForSequenceClassification分类出pooled_output作为final feature BertForSequenceClassification函数在设计时并未返回pooled_output参数： class BertForSequenceClassification(BertPreTrainedModel): #.... #.... outputs = self.bert( input
代码中bert的输入和输出
目标：NLP算法工程师
12-12 7669
Inputs: `input_ids`: a torch.LongTensor of shape [batch_size, sequence_length] with the word token indices in the vocabulary(see the tokens preprocessing logic in the scripts `extract_features.py`, `run_classifier.py` and `run_squad.py`
Bert代码详解（一）
cpluss的博客
03-12 2万+
这是bert的pytorch版本（与tensorflow一样的，这个更简单些，这个看懂了，tf也能看懂），地址：https://github.com/huggingface/pytorch-pretrained-BERT 主要内容在pytorch_pretrained_bert/modeling文件中。 由于这几天要参见计算所复试，超级紧张，所以先把草稿贴在这里，复试过了再加以完善！！！嘤嘤...
深度学习：BERT模型
皮皮blog
12-18 4万+
BERT出自的全称是Bidirectional Encoder Representation from Transformers，即双向Transformer的Encoder。作为一个Word2Vec的替代者，其在NLP领域的11个方向大幅刷新了精度，可以说是近年来自残差网络最优突破性的一项技术了。模型的主要创新点都在pre-train方法上，即用了Masked LM和Next Sentence Prediction两种方法分别捕捉词语和句子级别的representation。
bert pytorch源码_BERT Pytorch版本 源码解析（一）
weixin_39831503的博客
12-21 1144
BERT Pytorch版本 源码解析(一)一、BERT安装方式pip install pytorch-pretrained-bert二、BertPreTrainModel:一个用于获取预训练好权重的抽象类，一个用于下载和载入预训练模型的简单接口1、初始化函数(def __init__(self, config, *inputs, **kwargs)):def __init__(self, con...
pytorch_bert_pretrained代码学习
降措的博客
07-02 2819
配置文件 bert base { "attention_probs_dropout_prob": 0.1, "hidden_act": "gelu", "hidden_dropout_prob": 0.1, "hidden_size": 768, "initializer_range": 0.02, "intermediate_size": 3072, "max_pos...
Bert输入与输出
pochy的博客
05-07 1万+
这里记录一下bert模型的输入都代表什么： 如图 上图显示的是BERT输入表示 总述：输入嵌入分别是token embeddings, segmentation embeddings 和position embeddings 的总和 BERT最主要的组成部分便是，词向量（token embeddings）、段向量(segment embeddings)、位置向量(position embeddi...
transformer之预训练task小析(五)
u013324019的博客
09-07 575
上接transformer预训练task之小析(四) 首先思考一个问题，怎么表示掌握了一门语言？ 最好的方式可能体现在遣词造句上吧，比如饱受诟病的八股文上有很多的旷世奇作[1]，比如很多读起来朗朗上口的???? 天对地，雨对风。大陆对长空。山花对海树，赤日对苍穹。雷隐隐，雾蒙蒙。日下对天中。风高秋月白，雨霁晚霞红。牛女二星河左右，参商两曜斗西东。十月塞边，飒飒寒霜惊戍旅；三冬江上，漫漫朔雪冷渔翁。河对汉，绿对红。雨伯对雷公。烟楼对雪洞，月殿对天宫。云叆叇，日曈朦。腊屐对渔蓬。过...
last_hidden_state vs pooler_output的区别
最新发布
ningyanggege的博客
08-10 2209
从上面的源码可以看出，pooler_output 就是[CLS]embedding又经历了一次全连接层的输出。
NLP预训练模型2 -- BERT详解和源码分析
anshiquanshu的专栏
07-21 3737
1 模型结构 论文信息：2018年10月，谷歌，NAACL 论文地址 https://arxiv.org/pdf/1810.04805.pdf 模型和代码地址 https://github.com/google-research/bert BERT自18年10月问世以来，就引起了NLP业界的广泛关注。毫不夸张的说，BERT基本上是近几年来NLP业界意义最大的一个创新，其意义主要包括 大幅提高了GLUE任务SOTA performance（+7.7%），使得NLP真正可以应用到各生产环境中，大大推进
BERT模型的输出
摆渡者
06-14 2万+
0、概述 想要获取获取bert模型的输出非常简单，使用 model.get_sequence_output()和model.get_pooled_output() 两个方法，但这两种方法针对NLP的任务需要进行一个选择 1、output_layer = model.get_sequence_output() 这个获取每个token的output 输出[batch_size, seq_length...
图解BERT模型
qq_38343151的博客
02-04 8702
1. 模型的输入/输出 BERT模型的全称是：BidirectionalEncoder Representations from Transformer。从名字中可以看出，BERT模型的目标是利用大规模无标注语料训练、获得文本的包含丰富语义信息的Representation，即：文本的语义表示，然后将文本的语义表示在特定NLP任务中作微调，最终应用于该NLP任务。煮个栗子，BERT模型训练文本语...
【Bert】（七）句子关系判断--源码解析（bert后处理模型+损失函数）
mjiansun的专栏
03-07 1161
论文：https://arxiv.org/pdf/1810.04805.pdf 官方代码：GitHub - google-research/bert: TensorFlow code and pre-trained models for BERT Bert后处理模型
BERT实现关系分类抽取（pytorch）
Q_M_X_D_D_的博客
12-09 4785
前两天在GitHub上看到这样一个关系分类抽取模型（地址：GitHub），这个模型的思路大致是将关系抽取转化成对两个实体的关系进行分类，在这里对模型文件进行一下解释记录。 在这个项目中模型的结构定义在relation_extraction/model.py文件中 ...
bert实践:关系抽取解读
热门推荐
爱吃火锅的博客
07-31 4万+
前言 bert模型是谷歌2018年10月底公布的，反响巨大，效果不错，在各大比赛上面出类拔萃，它的提出主要是针对word2vec等模型的不足，在之前的预训练模型（包括word2vec，ELMo等）都会生成词向量，这种类别的预训练模型属于domain transfer。而近一两年提出的ULMFiT，GPT，BERT等都属于模型迁移，说白了BERT 模型是将预训练模型和下游任务模型结合在一起的，核心...
bert代码解读2之完整模型解读
qqywm的博客
12-31 2万+
bert代码模型部分的解读 bert_config.josn 模型中参数的配置 { "attention_probs_dropout_prob": 0.1, #乘法attention时，softmax后dropout概率 "hidden_act": "gelu", #激活函数 "hidden_dropout_prob": 0.1, #隐藏层dropout概率 "hidden_size"...
get_bert_encode函数代码
05-11
以下是一个使用Hugging Face Transformers库中的BERT模型进行编码的示例函数： ```python import torch from transformers import BertTokenizer, BertModel def get_bert_encode(text, model_name='bert-base-uncased', pooling_method='mean'): # Load pre-trained BERT model and tokenizer tokenizer = BertTokenizer.from_pretrained(model_name) model = BertModel.from_pretrained(model_name) # Tokenize input text tokenized_text = tokenizer.encode(text, add_special_tokens=True) # Convert tokenized_text to a tensor input_ids = torch.tensor([tokenized_text]) # Get BERT model output with torch.no_grad(): output = model(input_ids) # Extract the last hidden state of the BERT model last_hidden_state = output[0] # Apply pooling to get a fixed-length vector representation of the input text if pooling_method == 'mean': pooled_output = torch.mean(last_hidden_state, dim=1) elif pooling_method == 'max': pooled_output = torch.max(last_hidden_state, dim=1)[0] else: raise ValueError("Invalid pooling method. Must be either 'mean' or 'max'.") # Convert the tensor to a numpy array encoded_text = pooled_output.squeeze().numpy() return encoded_text ``` 这个函数使用了BertTokenizer类来将输入文本转换为BERT模型可以接受的格式，并使用BertModel类进行编码。该函数还支持使用“平均”或“最大”池化方法将BERT的最后一个隐藏状态转换为固定长度的向量表示形式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

草帽夫卡

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值