1.介绍
BertTokenizer是一个用于将文本转换为Bert模型所需要格式的Python库。
2.安装
pip install transformers
3.使用
# 导入
from transformers import BertTokenizer
#初始化
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
# bert-base-uncased:Bert模型的基础版本
#Tokenization 分词
text = "这是一个测试"
tokens = tokenizer.tokenize(text)