BERT分词器全面解析：从Tokenizer到模型推理的完整实践指南

已于 2025-04-10 14:16:28 修改
阅读量2.6k 收藏 34
点赞数 37
分类专栏： NLP自然语言理解 大模型 文章标签： bert 人工智能 深度学习 神经网络 自然语言处理 机器学习
于 2024-11-21 12:11:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41645791/article/details/143937638
版权

在深度学习领域，BERT作为强大的预训练模型广泛应用于各种自然语言处理任务。而BERT的核心输入预处理工具之一——分词器（Tokenizer），在模型的成功应用中扮演了至关重要的角色。本文将带你深入解析BERT分词器的工作原理、参数配置以及如何与模型结合完成推理任务，帮助你快速上手并理解这一关键组件。

一、BERT分词器的作用

在BERT模型中，分词器的作用是将自然语言文本转换为模型可以理解的输入格式。这一过程包括以下步骤：

1. 分词（Tokenization）：

• 将原始文本拆分为子词单元（subwords tokens）。

• BERT采用的是WordPiece分词算法，可以有效处理未登录词（OOV）。

2. 添加特殊标记（Special Tokens）：

• 添加 [CLS] 标记表示句子开头，用于分类任务。

• 添加 [SEP] 标记表示句子结束，用于分隔两个句子或句子结束。

3. 生成Token IDs：

• 将分词后的结果映射为词表中的唯一整数ID。

4. 生成其他特征：

• Attention Mask：区分实际文本和填充部分。

• Segment IDs：区分第一句和第二句（用于句对任务）。

二、分词器的使用流程

 

我们以具体代码为例，逐步展示如何加载分词器并完成文本预处理。

1. 初始化分词器

from transformers import BertTokenizer

# 加载预训练的BERT分词器
tokenizer = BertTokenizer.from_pretrained("bert-base-chinese")

• from_pretrained 方法会加载指定路径或预训练模型的分词器配置和词表。

• 如果使用的是本地BERT模型，可以传入模型路径。

conf = Config()  # 初始化配置对象
tokenizer = BertTokenizer.from_pretrained(conf.bert_path)  # 从指定路径加载 BERT 分词器

2. 分词与预处理

使用分词器对文本进行处理：

inputs = tokenizer(
    "睡一觉醒睡不着咋搞的？",       # 输入文本
    max_length=60,              # 指定最大长度为 60
    padding="max_length",       # 填充到固定长度
    truncation=True,            # 超过最大长度时进行截断
    return_tensors="pt"         # 返回 PyTorch 张量
)


print(inputs)

输出结果：

{
   # 分词后的 Token ID 序列
  'input_ids': tensor([[101, 1234, 5678, ..., 102, 0, 0]]), 
  # 注意力掩码，区分有效文本和填充部分
  'attention_mask': tensor([[1, 1, 1, ..., 1, 0, 0]]) 
}

3. 参数解析

1. max_length：

  1.  默认值为 None，即不限制序列长度。
  2. 如果指定，会将序列长度固定为 max_length，不足填充，超过截断。

2. padding：

  1. 默认值为 False，不进行填充。
  2. 常用值：
    •  "max_length"：填充到 max_length 的长度。
    • "longest"：填充到当前批次中最长序列的长度。

3. truncation：

  1.  默认值为 False，不进行截断。
  2. 如果设置为 True，超过 max_length 的部分会被截断。

4. return_tensors：

  1. 默认值为 None，返回Python列表格式。
  2. 可选值：
    1. "pt"：返回PyTorch张量。
    2.  "tf"：返回TensorFlow张量。
    3. "np"：返回NumPy数组。

三、分词器与模型结合

预处理完成后，生成的 inputs 可直接输入到BERT模型中：

from transformers import BertModel

# 加载预训练的BERT模型
model = BertModel.from_pretrained("bert-base-chinese")

# 推理
outputs = model(**inputs)

# 输出结果
print(outputs)

输出包括：

1. last_hidden_state：每个输入token的隐藏状态表示。

2. pooler_output：句子级别的特征表示（对应于 [CLS] 的输出）。

四、完整代码示例

以下是一个完整的BERT分词器与推理任务的代码示例：

from transformers import BertTokenizer, BertModel

# 加载分词器和模型
tokenizer = BertTokenizer.from_pretrained("bert-base-chinese")
model = BertModel.from_pretrained("bert-base-chinese")

# 文本预处理
inputs = tokenizer(
    "睡一觉醒睡不着咋搞的？",
    max_length=60,
    padding="max_length",
    truncation=True,
    return_tensors="pt"
)

# 模型推理
outputs = model(**inputs)

# 查看结果
print("Input IDs:", inputs["input_ids"])
print("Attention Mask:", inputs["attention_mask"])
print("Last Hidden State Shape:", outputs.last_hidden_state.shape)
print("Pooler Output Shape:", outputs.pooler_output.shape)

结果输出： 

 

五、BertModel模型推理的outputs

# 模型推理
outputs = model(**inputs)

在使用 BertModel 进行推理后，outputs 是一个包含多个关键输出的对象，通常为 BaseModelOutputWithPoolingAndCrossAttentions 类型。以下是具体的输出内容以及其含义：

outputs 的内容完整输出结构

假设：

• batch_size=1（一个句子）

• sequence_length=60（句子长度）

• hidden_size=768（BERT-base 的默认隐藏层大小）

outputs 结构：

BaseModelOutputWithPoolingAndCrossAttentions(
    last_hidden_state=tensor of shape (1, 60, 768),  # 每个 token 的表示
    pooler_output=tensor of shape (1, 768),          # [CLS] 的表示
    hidden_states=None,                              # 如果指定输出所有层，可以获取各层隐藏状态
    attentions=None                                  # 如果启用，包含注意力权重
)

代码示例与解释

from transformers import BertTokenizer, BertModel

# 加载分词器和模型
tokenizer = BertTokenizer.from_pretrained("bert-base-chinese")
model = BertModel.from_pretrained("bert-base-chinese")

# 文本预处理
inputs = tokenizer(
    "睡一觉醒睡不着咋搞的？",
    max_length=60,
    padding="max_length",
    truncation=True,
    return_tensors="pt"
)

# 推理
outputs = model(**inputs)

# 输出结果
print("Last Hidden State Shape:", outputs.last_hidden_state.shape)
print("Pooler Output Shape:", outputs.pooler_output.shape)

输出示例：

对于 BertModel，推理输出包含两个主要部分：

# 1个句子，60个token，每个token的768维向量
Last Hidden State Shape: torch.Size([1, 60, 768])
# 1个句子，每个句子的768维向量   
Pooler Output Shape: torch.Size([1, 768])

用途与场景

1. last_hidden_state（Token-wise 表示）

  • 使用场景：
    • 序列标注任务（如 NER、词性标注）：需要每个 token 的上下文信息。
    • 注意：这个结果包含了 [CLS] 和 [SEP] 标记的向量。

 

2. pooler_output（句子级别表示）

  • 使用场景：
    • 文本分类任务：直接使用 [CLS] 的输出特征进行分类。
    • 句子相似度任务：比较两个句子的句子级别特征向量。

注意事项

1. 可选输出（hidden_states 和 attentions）

  • 在模型初始化时，可以设置参数 output_hidden_states=True 和 output_attentions=True，获取更丰富的中间输出。
  • hidden_states：包含每一层的隐层输出（共 12 层或 24 层）。
  • attentions：包含每一层的注意力权重矩阵。

示例：

model = BertModel.from_pretrained("bert-base-chinese", output_hidden_states=True, output_attentions=True)
outputs = model(**inputs)
print(outputs.hidden_states)  # 获取每层的输出
print(outputs.attentions)     # 获取每层的注意力权重

2. 特定任务模型可能有额外输出

  • 如果使用的是 BertForSequenceClassification 等下游任务模型，输出会直接包含分类或其他任务的结果。
  •  

outputs 的核心内容总结：

• last_hidden_state：每个 token 的上下文表示，适合序列标注任务。

• pooler_output：句子级别的特征表示，适合分类或句子比较任务。

通过理解 outputs 的内容和结构，可以根据任务需求灵活提取需要的特征，应用于各种自然语言处理任务。

3. 案例：使用bert 进行分类：

• 使用 pooler_output（对应 [CLS] 的隐藏状态）作为全连接层的输入：

logits = classifier(pooler_output)

• classifier 是一个全连接层，输出的维度等于分类标签的数量（比如情感分类是 positive 和 negative，则输出维度为 2）。

• 使用 softmax 函数获取概率分布，选择概率最大的类别作为分类结果。

这就是我们的分类输出

 

六、注意事项与常见问题

1. 分词器与模型必须匹配：

• 分词器的词表和分词方式需要与对应的BERT模型一致，否则可能导致索引错误。

2. 文本长度限制：

• BERT的最大输入长度通常为512，超过此限制会报错。

3. 动态填充与静态填充：

• 动态填充适合批处理推理，节省计算资源。

• 静态填充适合固定长度任务。

七、总结

BERT分词器是预训练模型中不可或缺的一环，其主要作用是将自然语言文本转化为模型可处理的输入格式。在实际应用中，合理配置分词器的参数，并结合模型的需求进行预处理，能够显著提升模型的推理效率与性能。

你在使用BERT分词器时是否遇到过问题？欢迎在评论区交流你的经验与心得！

 

LLM 大模型学习必知必会系列(五)：数据预处理(Tokenizer分词器)、模板（Template）设计以及LLM技术选型
丨汀、的博客
05-21 1277
LLM 大模型学习必知必会系列(五)：数据预处理(Tokenizer分词器)、模板（Template）设计以及LLM技术选型
自然语言处理之语法解析：BERT：高级BERT模型变体研究
zhubeibei168的博客
10-01 1182
BERT（Bidirectional Encoder Representations from Transformers）模型是基于Transformer架构的深度学习模型，由Google在2018年提出。其核心创新在于使用双向的Transformer Encoder来预训练语言模型，从而能够理解上下文中的词语关系。多层Transformer Encoder。
Pytorch——BERT 预训练模型及文本分类（情感分类）
热门推荐
ASS-ASH的博客
11-02 4万+
BERT 预训练模型及文本分类 介绍 如果你关注自然语言处理技术的发展，那你一定听说过 BERT，它的诞生对自然语言处理领域具有着里程碑式的意义。本次试验将介绍 BERT 的模型结构，以及将其应用于文本分类实践。 知识点 语言模型和词向量 BERT 结构详解 BERT 文本分类 BERT全称为 Bidirectional Encoder Representations from Transformer，是谷歌在 2018 年 10 月发布的语言表示模型。BERT 通过维基百科和书籍语料组成的庞.
BERT 是如何分词的
Alan Lee
05-19 2万+
BERT 是如何进行分词的 BERT 表示 Bidirectional Encoder Representations from Transformers，是 Google 于 2018 年发布的一种语言表示模型。该模型一经发布便成为争相效仿的对象，相信大家也都多少听说过研究过了。本文主要聚焦于 BERT 的分词方法，后续再谈模型实现细节。 BERT 源码中 tokenization.py 就是预...
【Hugging Face】transformers 库中的 BertTokenizer 常用方法和属性
最新发布
彬彬侠的博客
03-12 512
BertTokenizer是BERT模型专用的分词器，用于文本预处理、分词、转换为tokenID、解码tokenID。BertTokenizer主要基于WordPiece分词法，适用于文本分类、问答、命名实体识别等NLP任务。常见方法：tokenizer.tokenize(text)→分词，tokenizer.encode(text)→转换为ID，tokenizer.decode(ids)→解码，tokenizer.batch_encode_plus(texts)→批量编码，tokenizer.conver
深度解析BERT：从理论到Pytorch实战
TechLead
09-04 7184
本文从BERT的基本概念和架构开始，详细讲解了其预训练和微调机制，并通过Python和PyTorch代码示例展示了如何在实际应用中使用这一模型。我们探讨了BERT的核心特点，包括其强大的注意力机制和与其他Transformer架构的差异。
BERT分词，wordpiece，BPE，jieba，pkuseg
DecafTea的博客
03-08 5233
BERT分词 摘自： https://blog.csdn.net/u010099080/article/details/102587954 BERT 源码中 tokenization.py 就是预处理进行分词的程序，主要有两个分词器：BasicTokenizer 和 WordpieceTokenizer，另外一个 FullTokenizer 是这两个的结合：先进行 BasicTokenizer 得到一个分得比较粗的 token 列表，然后再对每个 token 进行一次 WordpieceTokenizer，
技术详解：BERT的分词预处理、输入Embedding、中间编码与输出向量解析
xxue345678的博客
08-31 5328
本文分别从BERT的输入输出逻辑、BERT输入前的分词器、BERT输入中的input Embeddings、BERT处理中的Transformer建模、BERT输出后的效果评估等几个方面进行解读。
bert分词工具-使用Bert自带的WordPiece分词工具将文本分割成单字
broccoli2的博客
04-02 6315
笔者不久前发布过一个[中文分字工具]（本文称之为version1.0）(https://blog.csdn.net/broccoli2/article/details/104952639)，该工具是将所有的字符单独分离出来，并以空格隔开。笔者使用该工具分字之后在实体分类任务上的效果很差。原因可能有下. 时间数据经version1.0处理之后如下： 原数据：2020年4月2日 version1.0处...
基于bert构建自己的分词系统
西西嘛呦的博客
08-17 1530
这里，我们不使用上述的工具，而是利用bert训练一个自己的分词器。
BERT中的Tokenizer说明
weixin_42223207的博客
08-03 3万+
BERT中的Tokenizer说明
泰语BERT模型-预训练模型-分词模块
09-18
预训练语言模型，可用于文本分类等NLP任务，序列标注任务，情感分析任务，采用业界通用的技术实现，接下游文本分类，序列标注，情感分析等任务，性能良好
BERT遇上知识图谱:如何让语言模型拥有知识?
AI天才研究院
08-20 1013
在自然语言处理（NLP）领域，BERT（Bidirectional Encoder Representations from Transformers）模型的出现标志着一个重要的里程碑。BERT通过双向编码器表示，极大地提升了语言模型在各种NLP任务中的表现。然而，尽管BERT在语义理解方面表现出色，它仍然缺乏对世界知识的显式理解。知识图谱（Knowledge Graph, KG）作为一种结构化的知识表示方式，能够弥补这一不足。本文将探讨如何将BERT与知识图谱结合，使语言模型不仅能理解语言，还能拥有知识。
大语言模型原理与工程实践：大语言模型推理工程综合实践
AI天才研究院
06-21 705
更大规模的模型和数据：训练更大的模型，利用更多的数据，以进一步提升性能。模型压缩和加速：探索知识蒸馏、量化、剪枝等技术，实现模型的压缩和加速。更高效的训练方法：设计更高效的训练算法，减少训练时间和资源消耗。
2021-08-22
qq_42305094的博客
08-22 889
bert代码 原始链接 作者看的特别详细，是我楷模。 BERT Tokenization 分词模型（BertTokenizer） BERT Model 本体模型（BertModel） BertEmbeddings BertEncoder BertLayer BertAttention BertIntermediate BertOutput BertPooler BERT Tokenization 分词模型（BertTokenizer） BertTokenizer 是基于BasicToke
bert分词器及文本还原
weston95的博客
09-05 343
df['合并文本'] = df['标题'].astype(str) + ' ' + df['内容'].astype(str)print("合并分词结果后的数据已保存至 Merged_Tokenized_News.xlsx")original_texts = [] # 用于存储还原后的文本。# 将带有分词结果的DataFrame写入新的Excel文件。# 将分词结果合并为一个字符串。# 逆向分词还原并将结果添加为新的列。# 将还原后的文本添加为新的列。# 将分词结果添加为新的列。# 合并标题和内容到一列。
BertTokenizer详解
qq_57390446的博客
06-06 4016
英语文本的预处理通常是Tonkenizing，而Tonkenizing的最小维度分为三种——word(单词)，wordpiece(单词块)，character(字母)。word的Tokenizing很好处理，因为英文文本单词之间有着天然的空格符，完全可以根据空格符进行Tokenizing。character的Tokenizing也同样好处理，只需将文本里所有字母切分开就行了。但是wordpiece的Tokenizing却显得更复杂，却又更实用。
基于bert分词的词频统计
01-17
### 使用 BERT 分词器进行词频统计 #### 英文词频统计 对于英文而言，由于单词间存在天然的空格分隔[^2]，可以较为容易地利用 BERT 的 Tokenizer 来完成分词工作。BERT 的分词机制不仅限于简单的按照空格分割字符串；它还采用了 WordPiece 模型来处理未登录词（OOV），即不在预定义词汇表内的新词。 为了使用 BERT 进行英文词频统计： 1. 需要安装 `transformers` 库以及加载特定版本的 BERT tokenizer。 ```python from transformers import BertTokenizer tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') ``` 2. 对输入文本进行编码并获取 tokens 列表。 ```python text = "This is an example sentence." tokens = tokenizer.tokenize(text) print(tokens) ``` 3. 统计各个 token 出现的次数即可得到词频分布情况。 ```python import collections frequency_dist = collections.Counter(tokens) for word, freq in frequency_dist.items(): print(f"{word}: {freq}") ``` 以上过程会输出每个子词单元及其对应的出现频率。 #### 中文词频统计 针对中文，考虑到其字符连续无明显间隔的特点[^3]，传统的基于规则或统计的方法难以精确切分词语。而采用 BERT 提供的分词方案能有效解决这一难题。具体来说，BERT-Chinese 版本同样运用了 WordPiece 技术，在此基础上进一步优化以适应汉语特点。 以下是应用 BERT 实施中文词频分析的具体操作： 1. 加载适用于中文环境下的 BERT tokenizer。 ```python chinese_tokenizer = BertTokenizer.from_pretrained('bert-base-chinese') ``` 2. 输入待处理的汉字序列，并调用 `.tokenize()` 方法获得分词后的列表形式的结果。 ```python zh_text = "这是一个测试句子。" zh_tokens = chinese_tokenizer.tokenize(zh_text) print(zh_tokens) ``` 3. 计算各词汇项的数量从而得出最终的词频统计数据。 ```python zh_frequency_dist = collections.Counter(zh_tokens) for zh_word, zh_freq in zh_frequency_dist.items(): print(f"{zh_word}: {zh_freq}") ``` 值得注意的是，尽管上述方法能够有效地提取出单字级别的特征表示，但在某些情况下可能无法完全满足实际需求，特别是当涉及到复合名词识别等问题时。此时可考虑结合其他更高级别的语言模型或者专门设计的任务导向型算法来进行改进。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值