HuggingFace

文章目录

• 一、官网
• 二、模型下载

一、官网

huggingface.co

二、模型下载

环境中安装 transformers包

conda install -n ycz transformers

模型自动下载 引号中是模型名称

from transformers import BertTokenizer, BertModel
model = BertModel.from_pretrained('bert-base-chinese', output_hidden_states = True,)
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')

模型自动下载位置

/home/用户名/.cache/huggingface/transformers

手动下载
网页最上方搜索模型名字
点击Model card右侧的Files and Versions
传入模型保存本地路径

model = BertModel.from_pretrained('./model', output_hidden_states = True,)
tokenizer = BertTokenizer.from_pretrained('./model/vocab.txt')
注意，BertModel.from_pretrained里面输入的是文件夹的路径
BertTokenizer.from_pretrained里面输入的是vocab.txt，而不是tokenizer.json。

加速下载

model = BertModel.from_pretrained('bert-base-chinese', mirror='tuna')