原因:huggingface是国外网站,国内无法正常访问(指运行部程序时)
解决方法:将你所需要的模型下载到本地,然后在代码中用本地地址替换代码中的在线下载的地址。
1.模型相关文件解释
.gitattributes :git操作相关属性说明。当执行 git 动作时,.gitattributes 文件允许你指定由 git 使用的文件和路径的属性,例如:git commit 等。换句话说,每当有文件保存或者创建时,git 会根据指定的属性来自动地保存。
README.md : 说明文件,一般都得看下。
config.json :定义了architectures等超参数
flax_model.msgpack:标注了LFS(Large File Storage),和其他两个一样,有个_model都是模型文件。Flax库和pytorch、TensorFlow一样,也是个神经网络框架。
generation_config.json:和config.json类似,也是一些超参数信息,不过是训练之后的超参数信息。
pytorch_model.bin:pytorch版本的模型,用bin存储
special_tokens_map.json:记载了特殊字符的映射,比如"unk_token"、""都映射为空
spiece.model:包含vocab(词汇表),mt5模型由于vocab词汇表中的词汇过多,采用从spiece.model之中读取的方式处理。
tf_model.h5:TensorFlow版本的模型,用h5存储,H5文件是层次数据格式第5代的版本(Hierarchical Data Format,HDF5),它是用于存储科学数据的一种文件格式和库文件。
tokenizer_config.json:也是加粗样式一种字符设置,和special_tokens_map.json类似
————————————————
2.将文件下载后修改路径,以下是在代码中的修改
model_checkpoint = ‘D:/download/model/mt5s/’
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)