BERT的三个Embedding详解

最新推荐文章于 2025-03-26 16:05:45 发布
最新推荐文章于 2025-03-26 16:05:45 发布
阅读量3.1w 收藏 212
点赞数 108
分类专栏： BERT 文章标签： bert 自然语言处理 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48185819/article/details/122042452
版权

BERT将输入文本中的每一个词（token)送入token embedding层从而将每一个词转换成向量形式

两个嵌入层，segment embeddings和 position embeddings

token embedding

token embedding 层是要将各个词转换成固定维度的向量。在BERT中，每个词会被转换成768维的向量表示

假设输入文本是 “I like strawberries”。下面这个图展示了 Token Embeddings 层的实现过程:

输入文本在送入token embeddings 层之前要先进行tokenization处理。此外，两个特殊的token会被插入到tokenization的结果的开头 ([CLS])和结尾 ([SEP]) 。它们视为后面的分类任务和划分句子对服务的

tokenization使用的方法是WordPiece tokenization. 这是一个数据驱动式的tokenization方法，旨在权衡词典大小和oov词的个数。这种方法把例子中的“strawberries”切分成了“straw” 和“berries”。这种方法的详细内容不在本文的范围内

Token Embeddings 层会将每一个wordpiece token转换成768维的向量。这样，例子中的6个token就被转换成了一个(6, 768) 的矩阵或者是(1, 6, 768)的张量（如果

最低0.47元/天 解锁文章
bert系列第一篇： bert进行embedding
iterate7的博客
10-04 1万+
bert可以干啥 我们理解bert为一个transformer集合，输入是一句话，输出是经过transform的结果。我们了解，深度学习的本质就是抽取核心特征， 这也是bert的核心功能，而且以transformer为主要模块，具有更优秀的attention功能，捕获的特征更为精确和全面。 一句话概括， bert就是一个抽取器。输入一句话（词序列），输出抽取后的embedding序列。 输入输出 输入会加入特殊的[CLS]代表整句话的含义，可以用于分类。 input的词help，prince，ma
【BERT】详解BERT
qq_42787054的博客
05-25 792
BERT，全称Bidirectional Encoder Representation of Transformer，首次提出于《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》一文中。简单来说，BERT是使用了Transformer的encoder(即编码器)部分，因此也可以认为BERT就是Transformer的encoder部分。
【译】为什么BERT有3个嵌入层，它们都是如何实现的
immense的博客
02-20 2509
目录 引言 概览 Token Embeddings 作用 实现 Segment Embeddings 作用 实现 Position Embeddings 作用 实现 合成表示 结论 参考文献 本文翻译自Why BERT has 3 Embedding Layers and Their Implementation Details 引言 ​ 本文将阐述BERT中嵌入层的实现细节，包括token embeddings、segment embeddings, 和position embeddings. 概览 ​
【深度学习】BERT的原理与应用（含完整代码）
最新发布
WSSsharon的博客
03-26 1287
Bert的结构和代码
【详解】BERT的3个Embedding的实现原理
热门推荐
LeeZhao的博客
07-09 1万+
本文将阐述BERT中嵌入层的实现细节，包括token embeddings、segment embeddings, 和position embeddings. 目录概览1 Token Embeddings作用实现2 Segment Embeddings作用实现3 Position Embeddings作用实现4 合成表示 概览 下面这幅来自原论文的图清晰地展示了BERT中每一个嵌入层的作用： 和大多数NLP深度学习模型一样，BERT将输入文本中的每一个词（token)送入token embedding层从
Bert_Position_Embedding
hello world
01-05 2929
因为没有循环神经网络做迭代，所以我们加上位置编码，以避免计算机无法区分“我是你爸”和“你是我爸”等等。 对于一个维度762的字向量 我们需要一个762维度的位置编码 之后相加操作喂入Transformer 位置嵌入的公式如下： 我对其纹理进行可视化： import numpy as np import seaborn as sns import matplotlib.pyplot as plt plt.figure(figsize=(15, 10)) sns.set() np.random.seed(0)
技术详解：BERT的分词预处理、输入Embedding、中间编码与输出向量解析
xxue345678的博客
08-31 5443
本文分别从BERT的输入输出逻辑、BERT输入前的分词器、BERT输入中的input Embeddings、BERT处理中的Transformer建模、BERT输出后的效果评估等几个方面进行解读。
embedding层_BERT的嵌入层是如何实现的？看完你就明白了
weixin_39982537的博客
11-24 1746
作者：__编译：ronghuaiyang （AI公园）原文地址：BERT的嵌入层是如何实现的？看完你就明白了​mp.weixin.qq.com非常简单直白的语言解释了BERT中的嵌入层的组成以及实现的方式。介绍在本文中，我将解释BERT中嵌入层的实现细节，即token嵌入、Segment嵌入和Position嵌入。简介这是一张来自论文的图，它恰当地描述了BERT中每一个嵌入层的功能:与大多数旨在解...
人工智能bert模型详解
03-05
在SBERT模型中，句子embedding的计算方式如下：首先，对输入的两个句子使用BERT模型生成句子向量u和v，然后计算两个向量的绝对值|u-v|，最后，将三个向量在-1维度进行拼接，得到的向量的维度为3*d，d表示隐层维度。...
bert源码详解及相关问题回答
qq_29837229的博客
05-29 1140
1.构建layer层，12个layer层，每个layer层是一个transformer层的encoder部分。2.forward函数，这个函数做的就是每一个encoder的输出接到下一个encoder的输入，这样讲全部encoder连接起来。output_all_encoded_layers控制输出模式。
【自然语言处理】BERT系列模型-详解
2201_75415080的博客
01-16 1509
BERT是2018年10月由Google AI研究院提出的一种预训练模型.BERT的全称是Bidirectional Encoder Representation from Transformers.
Bert的位置编码：position_embeddings（绝对位置可学习参数式编码）
u013250861的博客
08-27 6486
position_embeddings（绝对位置可学习参数式编码）
embedding层_大贝贝，bert的三个嵌入层是如何实现的
weixin_39586265的博客
11-30 1596
本文翻译自Why BERT has 3 Embedding Layers and Their Implementation Details引言本文将阐述BERT中嵌入层的实现细节，包括token embeddings、segment embeddings, 和position embeddings.概览下面这幅来自原论文的图清晰地展示了BERT中每一个嵌入层的作用：和大多数NLP深度学习...
为什么Bert的三个Embedding可以进行相加？
zenRRan的博客
10-15 2675
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要9分钟跟随小博主，每天进步一丢丢整理：zenRRan来自：深度学习自然语言处理公众号学术分享，侵删~知乎问题：Token Embed...
面试题：请原理上解释为什么 Bert 的三个 Embedding 可以直接加在一起
AI生成曾小健3
12-23 327
可以理解为word的表征；Segment Embedding可以理解为一句话的表征；可以相加的解释哈，虽然有些东西我们直观上操作没问题，但是到理论层面还行缺少定量的分析。汇聚的角度来看的话，三个表征的相加，是三个不同的的空间向量。，然后concat到一起，最后过一个MLP，和直接的。从信号处理的角度来看，表征可以理解为信号，先说明下Bert中的的三个表征指的是。，因此，叠加是可行的。2024年12月19日 11:18。的操作，这些叠加的信号可以在。从one-hot的角度来看，上去，然后再做信息的融合，
BertEmbedding的各种用法
datayx的文章
03-29 5509
向AI转型的程序员都关注了这个号????????????机器学习AI算法工程 公众号：datayxbert自从在BERT: Pre-trainin...
【HuggingFace Transformers】BertEmbeddings源码解析
AI小白的学习记录，欢迎交流~
07-12 1583
BertEmbeddings 类是 BERT 模型的一个重要组成部分。这个类将词嵌入(Token Embeddings) 、位置嵌入(Position Embeddings) 和 标记类型嵌入(Segment Embeddings) 组合起来，为每个输入token生成最终的嵌入表示，为后续的编码器层提供输入。
深度学习：bert embedding用法详解
皮皮blog
07-13 6619
环境配置 下载bert已训练好的模型 如BERT-Base, Chinese: Chinese Simplified and Traditional, 12-layer, 768-hidden, 12-heads, 110M parameters 解压到目录/.../chinese_L-12_H-768_A-12/，其中...为你自己的某个目录。 [https://github.co...
BERT的模型结构
03-13
### BERT 模型结构详解 #### 1. 总体架构 BERT 的总体架构由输入模块、特征提取模块以及任务处理模块组成。输入模块负责对原始文字进行信息提取，包括字信息、位置信息和句信息[^3]。这些信息通过嵌入操作被转化为向量表示。 #### 2. 输入模块 在 BERT 中，输入部分分为三类嵌入：Token Embedding (token emb)，Segment Embedding (segment emb)，以及 Position Embedding (position emb)[^4]。 - **Token Embedding**: 将每个单词映射到一个高维空间中的向量表示。这可以通过预训练的词向量或者随机初始化的方式完成。 - **Segment Embedding**: 表示当前文本片段所属的句子编号（A 或者 B），用于区分两句话之间的关系，在下游任务如问答系统中有重要作用。 - **Position Embedding**: 提供序列中词语的位置信息，帮助模型理解上下文顺序。需要注意的是，BERT 使用固定长度的位置编码方式，不同于 Transformer 中基于正余弦函数动态计算的方法。 以上三种嵌入会被相加得到最终的输入表示，并送入后续网络层进一步加工。 #### 3. 特征提取模块 该模块采用多层 Transformer Encoder 构建而成。具体而言，BERT Base 版本包含 12 层 Encoders 而 Large 则扩展至 24 层。每一层都执行自注意力机制(Self-Attention Mechanism) 和前馈神经网络(Feed Forward Neural Network)，从而捕捉全局依赖性和局部特性。经过层层叠加后的隐藏状态能够很好地表征给定语料库内的语法与语义规律。 #### 4. 任务处理模块 最后一个组件即为任务特定适配器——Task-Specific Layers。此阶段依据实际应用场景调整输出形式以匹配不同类型的 NLP 子任务需求，比如分类问题可能只需要取 [CLS] token 对应的状态作为整个句子的表现；而对于命名实体识别则需逐 token 进行预测等等。 ```python import torch from transformers import BertTokenizer, BertModel tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertModel.from_pretrained('bert-base-uncased') text = "Replace me by any text you'd like." encoded_input = tokenizer(text, return_tensors='pt') output = model(**encoded_input) print(output.last_hidden_state.shape) ``` 上述代码展示了如何加载并运行一个标准版的小规模 BERT 模型实例化过程及其基本调用方法。
评论 16
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值