bert-base-chinese模型如何在本地下载后在服务器上使用

今天在编写深度学习代码时需要用到bert-base-chinese的tokennizer，但是服务器上没办法直接远程下载，所以只能本地下载后上传到服务器使用。

由于我是使用的trnsorflow，所以以下内容仅针对tensorflow。

到官网下载https://huggingface.co/google-bert/bert-base-chinese/tree/main

只需要下载 config.json  tf_model.h5   vocab.txt这三个文件即可。

下载完成之后按照以下方式放置文件

将这个名字叫bert的文件整体上传到项目内部。

使用方式

# 切记一定要手动引入vocab.txt文件
vocab_file = 'bert/vocab.txt'
tokenizer = BertTokenizer(vocab_file)

# 注意tensorflow模型要使用TFBertModel
model = TFBertModel.from_pretrained('bert/bert-base-chinese/')

# 示例文本
text = "机器学习 是 人工智能 领域 的 一个 重要分支。"

# 编码
encoded_input2 = tokenizer.encode(text, add_special_tokens=True)
print("Encoded Input2:", encoded_input2)

# 解码
decoded_text = tokenizer.decode(encoded_input2)
print("Decoded Text:", decoded_text)

打印结果