Bert tokenizer新增token

最新推荐文章于 2025-02-20 10:22:37 发布

最棒的阿树

最新推荐文章于 2025-02-20 10:22:37 发布

阅读量9.3k

点赞数 6

文章标签： nlp

本文链接：https://blog.csdn.net/cjs8348797/article/details/105348849

版权

本文介绍了如何在transformers库的BertTokenizer中新增token，包括在vocab文件中添加新词汇以确保tokenizer能正确处理。同时提到了如果对性能有高要求，可以考虑使用Tokenizers库，但现在transformers库已采用rust编写的tokenizer，性能问题得以解决。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

transformers库的BertTokenizer新增token

在与vocab.txt同级的地方新建added_tokens.json,写入以下内容：

{
   
	"[X_SEP]":12345,
	"[SEN_SEP]":1
}

key值是token，value值为该token对应的id。

如上所示，tokenizer.encode('[X_SEP][SEN_SEP]'), 得到的结果是[12345,1]

Tokenizers库的一些操作

如果对tokenize和encode的性能有要求，建议使用tokenizers库【更新：现在transformers库已经使用rust编写的tokenziers了，不必大费周章了】

>>>from tokenizers import BertWordPieceTokenizer
>>>tokenizer = BertWordPieceTokenizer('path/to/vocab.txt')
>>><

最低0.47元/天解锁文章