全网最好解决中国huggingface.co无法访问问题

已于 2024-10-14 10:52:58 修改
阅读量1.2w 收藏 93
点赞数 92
文章标签： transformer
于 2024-03-30 18:16:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mar1111s/article/details/137179180
版权
文章讲述了在训练过程中遇到的OSError，由于HuggingFace库在中国境内无法直接访问，解决办法是在使用transformers前设置环境变量HF_ENDPOINT为国内镜像网站。
摘要由CSDN通过智能技术生成

最近在训练句子相关性时出现的问题，运行时出现OSError: We couldn't connect to 'https://huggingface.co' to load this file, couldn't find it in the cached files and it looks like bert-base-chinese is not the path to a directory containing a file named config.json. Checkout your internet connection or see how to run the library in offline mode at 'https://huggingface.co/docs/transformers/installation#offline-mode'.
主要是因为huggingface.co在中国境内大部分都无法访问了

解决方法也很简单
1fc665187fdc82bd8546b4af28988a72.png

注意一定要在你使用transformers之前引入这个镜像网站

 

import os
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"

 

 

Mar1f
关注
Hugging Face 无法连接问题 OSError: We couldn‘t connect to ‘https://huggingface.co‘ to load this file
qq_41440361的博客
11-23 2555
步骤二：修改代码中的路径（model_name和tokenizer_name），改为本地存储的路径文件夹即可。在云服务器上跑的也没法挂梯子，解决方法就是把需要的模型下载到本地然后传到云服务器上，更改引用路径即可。打开Hugging Face官网，查找需要的模型，点击Files and version，这里是。pytorch版本的codebert-base需要选择以下。
Bert-Chinese-Text-Classification-Pytorch:使用Bert，ERNIE，进行中文文本分类
05-11
Bert-Chinese-Text-Classification-Pytorch 中文文本分类，Bert，ERNIE，基于pytorch，开箱即用。 介绍 模型介绍、数据流动过程：还没写完，写好之后再贴博客地址。 工作忙，懒得写了，类似文章有很多。 机器：一块2080Ti ， 训练时间：30分钟。 环境 python 3.7 pytorch 1.1 tqdm sklearn tensorboardX pytorch_pretrained_bert(预训练代码也上传了, 不需要这个库了) 中文数据集 我从中抽取了20万条新闻标题，已上传至github，文本长度在20到30之间。一共10个类别，每类2万条。数据以字为单位输入模型。 类别：财经、房产、股票、教育、科技、社会、时政、体育、游戏、娱乐。 数据集划分： 数据集 数据量 训练集 18万 验证集 1万 测试集 1万 更换自己的数据集 按照
【Hugggingface.co】关于huggingface.co无法访问&大模型下载运行报错解决We couldn‘t connect to ‘https://huggingface.co‘ to.
热门推荐
A-Itfuture的博客
01-05 4万+
如果你忘了打开tmux窗口也没关系，可以按ctrl-z暂停任务，再打开tmux，重新运行python model_download.py --repo_id 模型id 这行下载代码，可继续下载。如图所示，会给出相应的下载代码：python model_download.py --repo_id baichuan-inc/Baichuan2-7B-Chat。请添加–token hf_***参数，其中hf_***是 access token，请在huggingface官网这里获取。速度大约是2M/s.
解决OSError: We couldn‘t connect to ‘https://huggingface.co‘ to load this file
qq_44908396的博客
09-25 720
解决hugging face无法下载模型的问题
解决国内无法访问huggingface.co
qyhua的专栏
06-06 1万+
加速访问Hugging Face的门户。作为一个公益项目，我们致力于提供稳定、快速的镜像服务，帮助国内用户无障碍访问Hugging Face的资源。要访问：https://huggingface.co/THUDM/chatglm3-6b。要想下载对应的文件，只是换个域名即可，参数地址路径不变。HF-Mirror - Huggingface 镜像站。
https不能访问时的解决方案
小饼仙子的专栏
01-22 1万+
当（win7 里）IE浏览器 https打不开,https不能访问时   请保证IE-工具-高级选项中的TSL 1.0前面不要打上勾就可以了   （注解，当你用IE的“还原高级设置”时，那条会被自动打上勾。在直接联网的情况下也许是对的，但是在需要认证的局域网等等环境下，这个勾就致命了）
不能访问huggingface、与GPU配置
dsbss的博客
06-10 1375
如果是从 huggingface.co 下载模型，由于国内不能访问，所以建议先配置一下环境变量，通过访问国内镜像站点 https://hf-mirror.com来下载模型。
实用篇| huggingface网络不通
youbingchen的博客
05-27 1814
另外一种方式, 使用魔塔, ModelScope魔搭社区-ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单。hf-mirror.com是Huggingface的镜像网站，它提供了一个备用的域名来访问Huggingface的资源和功能。它的作用类似于一个代理服务器，可以帮助我们绕过无法访问huggingface.co的限制，正常地获取所需的模型和数据集。上面的方式是代码集成的方式,还有就是可以手动下载模型。
huggingface.co无法访问
Go_小虎吼吼
01-25 438
huggingface.co 不能访问
huggingface 无法访问
weixin_42691967的博客
04-17 668
在环境变量中添加 HF_ENDPOINT = “https://hf-mirror.com”注意，huggingface v0.18之前用的是 HF_ENDPOINT，之后的版本用的是 HF_INFERENCE_ENDPOINT想要下载模型也可以去 https://hf-mirror.com下载。
解决cmd中无法访问huggingface.co的问题
weixin_63143011的博客
10-16 3623
如果在安装过程中遇到了网络限制，可以考虑使用代理服务器。在安装时，确保代理服务器的配置适用于你的系统。将上述命令中的 代理服务器地址 替换为代理服务器的实际地址，端口 替换为代理服务器的端口号。curl通了，原来走的是http协议，不是socket5协议。（这里可以用curl命令来查看时候通了）一波操作后还是无法访问。
下一代防火墙方案模版-深信服全网安全监测解决方案.docx
06-04
下一代防火墙方案模版-深信服全网安全监测解决方案.docx下一代防火墙方案模版-深信服全网安全监测解决方案.docx下一代防火墙方案模版-深信服全网安全监测解决方案.docx下一代防火墙方案模版-深信服全网安全监测解决...
下一代防火墙方案模版-深信服全网安全监测解决方案.pdf
06-04
下一代防火墙方案模版-深信服全网安全监测解决方案.pdf下一代防火墙方案模版-深信服全网安全监测解决方案.pdf下一代防火墙方案模版-深信服全网安全监测解决方案.pdf下一代防火墙方案模版-深信服全网安全监测解决方案...
Thinkphp全网GUI圈子社区专版.exe
12-03
Thinkphp全网GUI圈子社区专版
03-趋势科技金融行业全网安全监控解决方案.pptx
最新发布
10-22
趋势安全产品
遇到huggingface无法连接问题分析
jjcjjwby的博客
03-30 3811
当执行 git 动作时，.gitattributes 文件允许你指定由 git 使用的文件和路径的属性，例如：git commit 等。tf_model.h5：TensorFlow版本的模型，用h5存储，H5文件是层次数据格式第5代的版本（Hierarchical Data Format，HDF5），它是用于存储科学数据的一种文件格式和库文件。generation_config.json：和config.json类似，也是一些超参数信息，不过是训练之后的超参数信息。1.模型相关文件解释。
【解决】Huggingface 无法访问
weixin_46791103的博客
02-18 2509
国内无 vpn 无法访问 Huggingface，使用 huggingface 镜像站：https://hf-mirror.com/
huggingface无法访问怎么办？一招教你解决，使用hf-mirror.com镜像站快速下载各种大模型
无极低码
08-06 709
4.下载数据集：使用huggingface-cli download --repo-type dataset --resume-download --local-dir 。2.设置环境变量：在Linux中使用export HF_ENDPOINT=https://hf-mirror.com，在Windows PowerShell中使用$env:HF_ENDPOINT = “https://hf-mirror.com”。
需求: 需求： 全网通讯 全网通讯 2. 2. .武汉分部去往重庆分部主链路45.1.1.0网段 。武汉分部去往重庆分部主链路45.1.1.0网段 备份链路34.1.1.0网段 备份链路34.1.1.0网段 3.重庆分部去往武汉分部主链路35.1.1. e网段 3.重庆分部去往武汉分部主链路35.1.1.E网段 备份链路45.1.1. e网段 备份链路45.1.1.E网段
05-24
根据您的需求，我理解您需要实现从武汉分部到重庆分部的通讯，并且需要设置主链路和备份链路。同样地，您也需要实现从重庆分部到武汉分部的通讯，并且需要设置主链路和备份链路。 对于武汉分部到重庆分部的通讯，您可以使用45.1.1.0网段作为主链路，使用34.1.1.0网段作为备份链路。对于重庆分部到武汉分部的通讯，您可以使用35.1.1.E网段作为主链路，使用45.1.1.E网段作为备份链路。 请注意，您需要确保这些网络地址没有被其他设备使用，并且需要正确配置网络设备以实现通讯。如果您需要进一步的帮助，请提供更多细节或联系您的网络管理员。
评论 25
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Mar1f

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值