一句命令解决huggingface.co无法下载模型问题

最新推荐文章于 2024-03-27 11:23:34 发布
最新推荐文章于 2024-03-27 11:23:34 发布
阅读量604 收藏 10
点赞数 6
分类专栏： 环境配置 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/FL1623863129/article/details/136906862
版权

血来潮从github上下载的模型，在运行demo点批发的时候，发现大模型并不能直接从huggingface上直接下载，这是因为众所周知的网络问题。
其实只要一句命令就可以解决这个问题。

export HF_ENDPOINT='https://hf-mirror.com'

修改HF_ENDPOINT系统变量以后，在运行诸如：

python web_demo.py

你就会发现模型可下载。

此方法也可以在windows上适用：

FL1623863129
关注
  • 6
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
基于HuggingFace开发的大语言模型训练
10-24
一个基于HuggingFace开发的大语言模型训练、测试工具。支持各模型的webui、终端预测，低参数量及全参数模型训练(预训练、SFT、RM、PPO、DPO)和融合、量化。
【hugggingface】批量加速下载HuggingFace上的模型
03-06
【hugggingface】批量加速下载HuggingFace上的模型
一个基于HuggingFace开发的大语言模型训练、测试工具
03-14
一个基于HuggingFace开发的大语言模型训练、测试工具。支持各模型的webui、终端预测，低参数量及全参数模型训练(预训练、SFT、RM、PPO、DPO)和融合、量化。.zip
个人环境常用命令
yzsjwd的博客
12-14 1105
https://archive.apache.org/dist/maven/maven-3/3.6.3/binaries/ 下载安装包 bin.tar.gz。根据cuda版本修改后缀 cu113/117/121。官网下载：https://pytorch.org/创建 激活 删除环境。
Huggingface 镜像站使用方法！
TonyNotes的博客
01-24 3256
命令 `export HF_ENDPOINT=https://hf-mirror.com` 是在设置一个名为 `HF_ENDPOINT` 的环境变量，并将其值设定为 `https://hf-mirror.com`，后面跟的就是 Hugging Face 的一个镜像站点。`--local-dir checkpoints` 指定下载文件保存的本地目录，这里指定为名为 `checkpoints` 的文件夹。HF是一个很好的网站，里面有大量的优质大模型，各种项目也常常自动去HF上下载模型。
huggingface镜像网站hf使用
最新发布
FL1623863129的博客
03-27 1030
参数禁用文件软链接，这样下载路径下所见即所得，详细解释请见上面提到的教程。是 Hugging Face 官方提供的命令行工具，自带完善的下载功能。不过有些数据集有内置的下载脚本，那就需要手动改一下脚本内的地址来实现了。是本站开发的 huggingface 专用下载工具，基于成熟工具。环境变量来确定下载文件所用的网址，所以可以使用通过设置变量来解决。非侵入式，能解决大部分情况。huggingface 工具链会获取。在本站搜索，并在模型主页的。，可以做到稳定下载不断线。建议将上面这一行写入。
大语言模型权重下载方法~（快速、无痛）
m0_51246196的博客
11-06 738
提供一套无痛、快速下载大语言模型权重的方案。modelscope、魔塔社区
Mistral AI 7B v0.1 模型
02-14
Mistral AI 公司的一个项目，提供了 Mistral AI 7B v0.1 模型的参考实现。这个模型具有广泛的应用，用于自然语言处理、文本生成等任务。该项目允许研究人员和开发者使用和改进 Mistral AI 7B v0.1 模型，并为其构建...
huggingface的bert-base-uncased
03-03
https://huggingface.co/google-bert/bert-base-uncased pytorch和tensorflow都有
HuggingFace下载模型网络连接失败问题解决方法
weixin_45734343的博客
01-07 2143
最近有很多的小伙伴们在现在大模型文件或者大模型单个文件时总是出现网络问题，此问题也耽误小编很久，找到了各种的方法，终于搞明白了如何快速去解决HuggingFace源的问题。然后新建 python 文件，填入以下代码，运行即可。使用 Hugging Face 官方提供的。下载模型中的部分文件。
【Huggingface】如何访问Huggingface，Huggingface镜像
q742971636的博客
01-09 2746
方法三：(非侵入式，能解决大部分情况)huggingface 提供的包会获取系统变量，所以可以使用通过设置变量来解决。方法一：使用huggingface 官方提供的 huggingface-cli 命令行工具。本站域名 hf-mirror.com，用于镜像 huggingface.co 域名。不过有些数据集有内置的下载脚本，那就需要手动改一下脚本内的地址来实现了。(3) 下载需要登录的模型（Gated Model）更多用法（多线程加速等）详见这篇文章。参数，token 获取具体参见上文。
requests.exceptions.SSLError:(MaxRetryError(“HTTPSConnectionPool(host=‘huggingface.co‘, port=443)
judelaw1234的博客
02-17 1837
其中 http://proxy_ip_address:port 中的 proxy_ip_address 和 port为开启梯子后。（windows）设置>网络和Internet>代理>手动设置代理>编辑代理服务器。在你的 Python 代码的开头加上如下代码。例如在我的情况下就是。
Hugging Face怎么通过国内镜像去进行模型下载（hf-mirror.com）
weixin_54703767的博客
01-18 5305
Hugging Face 是一家专注于自然语言处理（NLP）技术的公司，以其开源贡献和先进的机器学习模型而闻名。该公司最著名的产品是 Transformers 库，这是一个广泛使用的 Python 库，它提供了大量预训练模型，如 BERT、GPT-2、T5 和其他模型，这些模型可以用于各种 NLP 任务，如文本分类、情感分析、文本生成等。Hugging Face 还提供一个在线平台，允许社区成员共享和协作他们的模型。
终极解决Hugging Face 模型推理 HTTPSConnectionPool(host=‘huggingface.co‘, port=443): Max retries...
weixin_41496173的博客
05-30 1万+
疑难杂症:Hugging Face网络请求报错问题终极解决方法.
【Hugggingface.co】关于huggingface.co无法访问&大模型下载运行报错解决We couldn‘t connect to ‘https://huggingface.co‘ to.
热门推荐
A-Itfuture的博客
01-05 1万+
如果你忘了打开tmux窗口也没关系，可以按ctrl-z暂停任务，再打开tmux，重新运行python model_download.py --repo_id 模型id 这行下载代码，可继续下载。如图所示，会给出相应的下载代码：python model_download.py --repo_id baichuan-inc/Baichuan2-7B-Chat。请添加–token hf_***参数，其中hf_***是 access token，请在huggingface官网这里获取。速度大约是2M/s.
解决git clone及huggingface下载等网络失败问题
weixin_43013480的博客
10-16 2734
这里的1020换成你自己的VPN端口，然后开着VPN git clone就可以成功啦。最近git clone经常会clone不下来，于是乎记录一下解决方案。
huggingface数据集无法下载问题解决（以financial_phrasebank金融数据集为例）
m0_53373869的博客
03-11 1207
介绍了huggingface无法下载数据问题，并介绍了huggingface的包容性
Connecting to huggingface.co (huggingface.co)|31.13.95.48|:443... failed: Connection timed out.
03-20
Connecting to huggingface.co (huggingface.co)|31.13.95.48|:443... failed: Connection timed out 是一个连接超时的错误提示。这通常意味着你的计算机无法建立与huggingface.co网站的连接。 可能的原因包括： 1. 网络问题：你的网络连接可能存在问题，导致无法连接到huggingface.co。你可以尝试检查你的网络连接，确保网络正常工作。 2. 防火墙设置：你的计算机或网络可能有防火墙设置，阻止了与huggingface.co的连接。你可以尝试关闭防火墙或者配置防火墙规则来允许与huggingface.co的连接。 3. huggingface.co网站问题：有时候，huggingface.co网站本身可能出现问题，导致无法连接。你可以尝试等待一段时间后再次尝试连接，或者联系huggingface.co的技术支持团队寻求帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

FL1623863129

你的打赏是我写文章最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值