Transformer中tokenizer的使用：分词、token_id与token转换

最新推荐文章于 2025-03-30 09:55:51 发布

改完BUG再睡觉

最新推荐文章于 2025-03-30 09:55:51 发布

阅读量6.7k

点赞数 7

本文链接：https://blog.csdn.net/weixin_41831274/article/details/128065603

版权

python 同时被 2 个专栏收录

5 篇文章

订阅专栏

pytorch

2 篇文章

订阅专栏

该博客介绍了如何利用transformers库中的BertTokenizer对中文文本进行分词，包括添加特殊标记和填充操作，以便于后续的注意力可视化。同时，对比了不包含填充和特殊标记的简单分词方式。内容适合于自然语言处理和深度学习的实践者。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

我们使用transformer中的tokenizer进行分词，如何获得分词后的句子呢？

from transformers import BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')

text = '今天是个好天气，我们可以出去走走。'
token_ids = tokenizer.encode(text, max_length = 30, add_special_tokens = True, padding = 'max_length', truncation = True)
# [101, 791, 1921, 3221, 702, 1962, 1921, 3698, 8024, 2769, 812, 1377, 809, 1139, 1343, 6624, 6624, 511, 102, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]

tokened_text = tokenizer.convert_ids_to_tokens(token_ids)
# ['[CLS]', '今', '天', '是', '个', '好', '天', '气', '，', '我', '们', '可', '以', '出', '去', '走', '走', '。', '[SEP]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]', '[PAD]']

这样，我们得到的 token_ids 和 tokened_text 是同样维度的，如果后续需要文本attention可视化，这样做会方便很多

当然，如果只是为了分词，也可以这样做：

tokened_text = tokenizer.tokenize(text)
# ['今', '天', '是', '个', '好', '天', '气', '，', '我', '们', '可', '以', '出', '去', '走', '走', '。']

只不过这样得到的分词，是不包含padding部分，以及special token的。