pycharm通过hf mirror镜像访问huggingface模型（无需翻墙）

满是BUG的世界

已于 2024-03-27 17:15:38 修改

阅读量1w

点赞数 38

分类专栏： Python 文章标签： pycharm python

于 2024-03-27 17:11:14 首次发布

本文链接：https://blog.csdn.net/L1481333167/article/details/137083061

版权

本文介绍了如何通过修改环境变量`HF_ENDPOINT`从Huggingface镜像网站下载模型，以DistilBERT为例，展示了如何设置环境并用`AutoTokenizer`加载预训练模型进行文本处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考： huggingface下载模型的最正确方法

Huggingface镜像网站：https://hf-mirror.com （感觉大佬们）

通过修改环境变量访问镜像网站加载模型

import os
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'

注意：修改环境变量一定要放到最上方！！！放到 import transformers前修改！！！

完整代码

import os
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
from transformers import AutoTokenizer

check_point = 'distilbert-base-uncased-finetuned-sst-2-english'
tokenizer = AutoTokenizer.from_pretrained(check_point)
inputs = [
    'I‘m hunger',
    'nice to meet you, lihua'
]
input = tokenizer(inputs, pad