We couldn‘t connect to ‘https://huggingface.co‘ to load this file.解决:下载hugging face离线模型offline mode

已于 2024-06-06 14:27:42 修改
阅读量406 收藏 4
点赞数 3
分类专栏： 单目深度估计学习 文章标签： python json
于 2024-05-31 00:30:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_61717511/article/details/139337434
版权

一、官方教学

offline mode的官方教学：https://huggingface.co/docs/transformers/installation#offline-mode

3fcfe1e96bee48c5b32559bcb87a04e7.png

二、大概步骤

  1. 从hugging face 里下载模型；
  2. 把下载好的模型文件放到指定的目录下；
  3. 修改环境变量，添加HF_DATASETS_OFFLINE=1；TRANSFORMERS_OFFLINE=1 或者 在.from_pretrained中添加参数 local_files_only=True。

三、具体实例

以dpt-depth-estimation-3d-obj项目为实例，具体完成一遍流程:

  1.  在hugging face官网中选择Models，搜索指定的模型名称：这里是Intel/dpt-large

    hugging face官网：https://huggingface.co/models

    097af34c488943fd8cfe7ce0feedd0b0.png

  2.  点击Files and versions，不知道需要哪个文件，就无脑操作把所有文件全下载

    406960fee7f948738f88aedd97826418.png

  3. 把下载完成的文件放在指定的文件夹里，修改模型的加载路径
    d33e74662d844ec892b7a3b9b242e8a8.png

  4. .from_pretrained()函数中加入参数local_files_only=True或者在环境变量中加入HF_DATASETS_OFFLINE=1；TRANSFORMERS_OFFLINE=1 （注意：变量之间用“；”分开，操作如下图）

    0519058acc9d468993fd2abc961767c0.png

    加入参数

    f5ca49220abf4dac86673c24f8006d20.png

    打开环境变量的方法

    81f413f7e6044115ac76e1119c17003c.png

    添加环境变量

 

水菓
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
huggingface的bert-base-uncased
03-03
**标题解析：** "huggingface的bert-base-uncased" 指的是Hugging Face平台上Google提供的一个预训练模型，名为"bert-base-uncased"。BERT（Bidirectional Encoder Representations from Transformers）是由Google ...
Sentence-transformers 的 Rust 端口（https://github.com/UKPLab/sentence-transformers）
06-28
锈蚀使用rust-bert和tch-rs的句子转换器的 Rust ...您可以使用使用不同分词器的不同版本的模型：// To use Hugging Face tokenizerlet sbert_model= SBertHF::new (home.to_str ().unwrap ());// To use Rust-tokenizer
Python本地离线运行机器翻译代码示例 基于Hugging Face
08-14
# Python本地离线运行机器翻译代码示例 基于Hugging Face 本项目演示了如何调用Hugging Face的大模型实现本地离线实现机器翻译，Python代码简洁易懂，方便上手，能够快速实现强大的离线翻译功能。 使用方法： 1. 安装 transformers 和 tokenizers 库 pip install transformers tokenizers 2. 运行 translation_en_zh.py 进行英译汉翻译；运行 translation_zh_en.py 进行汉译英翻译。 翻译模型库： 英语到中文: Helsinki-NLP/opus-mt-en-zh 中文到英语: Helsinki-NLP/opus-mt-zh-en 中文到日语: Helsink-NLP/opus-mt-zh-ja 中文到法语: Helsink-NLP/opus-mt-zh-fr 在 Hugging Face 可以查找更多模型，替换程序中的模型名字即可。
【Hugggingface.co】关于huggingface.co无法访问&大模型下载运行报错解决We couldn‘t connect to ‘https://huggingface.co‘ to.
A-Itfuture的博客
01-05 3万+
如果你忘了打开tmux窗口也没关系，可以按ctrl-z暂停任务，再打开tmux，重新运行python model_download.py --repo_id 模型id 这行下载代码，可继续下载。如图所示，会给出相应的下载代码：python model_download.py --repo_id baichuan-inc/Baichuan2-7B-Chat。请添加–token hf_***参数，其中hf_***是 access token，请在huggingface官网这里获取。速度大约是2M/s.
解决 We couldn‘t connect to ‘https://huggingface.co‘ to load this file
qq_44297664的博客
04-23 273
原因是连接不到huggingface网站去调取模型，可能是网络问题之类的，解决方法就是将模型下载部署至本地，教程可看我上一篇文章https://blog.csdn.net/qq_44297664/article/details/138128873?
Hugging Face 无法连接问题 OSError: We couldn‘t connect to ‘https://huggingface.co‘ to load this file 解决方案
m0_46295727的博客
09-23 3万+
Hugging Face 无法连接问题 OSError: We couldn't connect to 'https://huggingface.co' to load this file 解决方案 亲测有效
全网最好解决中国hugggingface.co无法访问问题
mar1111s的博客
03-30 5327
主要是因为hugggingface.co在中国境内大部分都无法访问了。注意一定要在你使用transformers之前引入这个镜像网站。
couldn‘t connect to ‘https://huggingface.co‘ 问题解决
qq_45797625的博客
12-29 3026
由于每个人遇到的资源问题不一致，一版都是 tokenizer 的问题，而且报错是都会有堆栈信息，大家稍加细心便能发现问题。可以提供通过将资源下载到本地解决，这里我通过huggingface镜像站下载的方式解决。导致的，我遇到具体问题描述如下。一般来说这类都是访问不了。
解决报错“OSError: We couldn‘t connect to ‘https://huggingface.co‘ to load this file”
m0_55245520的博客
03-12 3553
今天在于Bert进行文本情感分析时，由于要调用Bert的预训练模型，但是出现报错。原因是这个网址，国内的IP已经没办法访问了。于是想到用离线模式下载。意思是无法访问这个网址，点进这个网址，浏览器访问，依旧失败。1、搜索 bert-base-uncased。附上Bert的一个简单运行demo。2、下载所需要的文件（权重文件）都看到这里了~给个小心心❤❤呗~3、将下载的文件保存到项目下面。主要是在预训练模块处进行更改。不需要安全上网也能访问！4、更改源代码中的地址。
解决无法从‘https://huggingface.co/docs/transformers/installation#offline-mode‘下载模型的问题
最新发布
qq_36549601的博客
05-22 253
【代码】解决无法从‘https://huggingface.co/docs/transformers/installation#offline-mode‘下载模型的问题。
如何使用huggingface 预定义的模型 ，gpt2为例子。offline离线使用。
weixin_49699149的博客
06-25 1603
对于中国用户来说， 估计主要才用它的离线方式 offline. 因为好一点的模型文件参数量比较大， 导致文件基本上都大于1G，甚至10G以上， 在线方式访问模型很慢并且失败的概率比较大。我试了，多数次都是链接失败的，偶尔成功一次小模型。文件比较大，可能下载时间长。能看到 model card , 是模型说明，通常说明都有如何调用的代码。它提供了大量的预训练模型model，数据集dataset，和别人开发好的应用（space)上面文档上讲的离线方式， 逻辑不算清楚， 根据我的摸索， 可以采用简单的方法。
huggingface连不上的解决方案
04-11 2312
AI, huggingface, library in offline mode
hugging face的models-openai-clip-vit-large-patch14文件夹
10-25
用于无法访问hugging face并需要运行stable-diffusion-webui时使用
Transformers源码解析/Hugging Face实战/NLP实战//预训练模型/分词器
07-12
你只需要知道，到了今天在NLP领域的所有任务，都可以用Transformer结合Hugging Face去玩就行了。 2012年的word2vec到现在除了科研机构，已经完全不需要使用了。绝大多数的算法工程师和科研人员都没有机会去参与词...
0 transformers入门，HuggingFace！
qq_28611929的博客
04-22 310
HuggingFace使用入门，自己想学学看看能坚持多久。
OSError: We couldn‘t connect to ‘https://huggingface.co‘ to load this file
热门推荐
积跬步，至千里
04-06 3万+
ChatGLM-6B-INT4 离线模式
【代码调试】We couldn‘t connect to ‘https://huggingface.co‘ to load this file问题解决
sumshine_的博客
09-12 1万+
发现不通过科学上网网页是打不开的，于是打开科学上网再次运行代码，结果出现了新的报错——HTTPSConnectionPool(host='huggingface.co', port=443.分析这个错误是科学上网配置引起的，不好解决，放弃这个思路。3、之后点击files and versions下载所需模型（图中红圈部分，弄不清楚要什么就全下载），在搜索框搜索所需模型（我需要facebook/wav2vec2-base-960h）问题分析：看报错代码猜测这应该是国内网没办法访问引起的，通过浏览器打开。
Huggingface遇到OSError: We couldn‘t connect to ‘https://huggingface.co‘ to load this file解决方法
阿正的梦工坊
09-17 1万+
手动下载并上传
OSError: We couldn't connect to 'https://huggingface.co' to load this file, couldn't find it in the cached files and it looks like csarron/llama-base is not the path to a directory containing a file named config.json. Checkout your internet connection or see how to run the library in offline mode at 'https://huggingface.co/docs/transformers/installation#offline-mode'.
07-13
这个错误提示表明无法连接到 `https://huggingface.co` 来加载所需的文件，并且在缓存文件中也找不到它。同时，它还指出 `csarron/llama-base` 不是一个包含 `config.json` 文件的目录路径。 这个问题可能由以下几个原因引起： 1. 网络连接问题：请确保你的网络连接正常，并且能够访问 `https://huggingface.co`。你可以尝试通过浏览器访问该网址来确认是否能够连接成功。 2. 模型名称错误：确保你输入的模型名称正确，可以在 Hugging Face 模型库的网站上找到准确的模型名称。 3. 缓存文件问题：尝试清除缓存文件以确保从头开始加载模型。你可以使用以下代码片段清除缓存文件： ```python from transformers import cached_path cached_path("csarron/llama-base", cache_dir=None, force_download=True) ``` 4. 离线模式：如果你无法连接到网络，可以尝试在离线模式下运行库。你可以参考 Hugging Face 官方文档中的离线模式部分了解如何在离线模式下运行。 如果上述解决方案都无效，你可以进一步检查其他可能的问题，如代理设置、防火墙限制等。如果问题仍然存在，可以尝试在 Hugging Face 论坛上寻求帮助，他们的社区会提供更详细的指导和解决方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值