pycharm通过hf mirror镜像访问huggingface模型（无需翻墙）

满是BUG的世界

已于 2024-03-27 17:15:38 修改

阅读量3.2k

点赞数 18

分类专栏： Python 文章标签： pycharm python

于 2024-03-27 17:11:14 首次发布

本文链接：https://blog.csdn.net/L1481333167/article/details/137083061

版权

Python 专栏收录该内容

4 篇文章 1 订阅

订阅专栏

本文介绍了如何通过修改环境变量`HF_ENDPOINT`从Huggingface镜像网站下载模型，以DistilBERT为例，展示了如何设置环境并用`AutoTokenizer`加载预训练模型进行文本处理。

摘要由CSDN通过智能技术生成

参考： huggingface下载模型的最正确方法

Huggingface镜像网站：https://hf-mirror.com （感觉大佬们）

通过修改环境变量访问镜像网站加载模型

import os
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'

注意：修改环境变量一定要放到最上方！！！放到 import transformers前修改！！！

完整代码

import os
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
from transformers import AutoTokenizer

check_point = 'distilbert-base-uncased-finetuned-sst-2-english'
tokenizer = AutoTokenizer.from_pretrained(check_point)
inputs = [
    'I‘m hunger',
    'nice to meet you, lihua'
]
input = tokenizer(inputs, padding=True, truncation=True, return_tensors='pt')
print('input: ',input)

打印结果

input: {'input_ids': tensor([[  101,  1045,  1520,  1049,  9012,   102,     0,     0,     0],
        [  101,  3835,  2000,  3113,  2017,  1010,  5622, 14691,   102]]), 'attention_mask': tensor([[1, 1, 1, 1, 1, 1, 0, 0, 0],
        [1, 1, 1, 1, 1, 1, 1, 1, 1]])}