今天在编写深度学习代码时需要用到bert-base-chinese的tokennizer,但是服务器上没办法直接远程下载,所以只能本地下载后上传到服务器使用。
由于我是使用的trnsorflow,所以以下内容仅针对tensorflow。
到官网下载https://huggingface.co/google-bert/bert-base-chinese/tree/main
只需要下载 config.json tf_model.h5 vocab.txt这三个文件即可。
下载完成之后按照以下方式放置文件
将这个名字叫bert的文件整体上传到项目内部。
使用方式
# 切记一定要手动引入vocab.txt文件
vocab_file = 'bert/vocab.txt'
tokenizer = BertTokenizer(vocab_file)
# 注意tensorflow模型要使用TFBertModel
model = TFBertModel.from_pretrained('bert/bert-base-chinese/')
# 示例文本
text = "机器学习 是 人工智能 领域 的 一个 重要分支。"
# 编码
encoded_input2 = tokenizer.encode(text, add_special_tokens=True)
print("Encoded Input2:", encoded_input2)
# 解码
decoded_text = tokenizer.decode(encoded_input2)
print("Decoded Text:", decoded_text)
打印结果