今天在编写深度学习代码时需要用到bert-base-chinese的tokennizer,但是服务器上没办法直接远程下载,所以只能本地下载后上传到服务器使用。
由于我是使用的trnsorflow,所以以下内容仅针对tensorflow。
到官网下载https://huggingface.co/google-bert/bert-base-chinese/tree/main
只需要下载 config.json tf_model.h5 vocab.txt这三个文件即可。
下载完成之后按照以下方式放置文件
将这个名字叫bert的文件整体上传到项目内部。
使用方式
# 切记一定要手动引入vocab.txt文件
vocab_file = 'bert/v