在hf-mirror下载数据集的方式

最新推荐文章于 2024-05-20 16:42:00 发布

ybdesire

最新推荐文章于 2024-05-20 16:42:00 发布

阅读量1.2k

点赞数 3

分类专栏：大语言模型文章标签：人工智能

本文链接：https://blog.csdn.net/ybdesire/article/details/136535203

版权

大语言模型专栏收录该内容

14 篇文章 2 订阅

订阅专栏

假设要下载如下的数据集：

https://hf-mirror.com/datasets/sradc/chunked-shuffled-wikipedia20220301en-bookcorpusopen

需要使用hf-mirror提供的工具hfd来下载，具体使用命令如下：

wget https://hf-mirror.com/hfd/hfd.sh
chmod a+x hfd.sh
export HF_ENDPOINT=https://hf-mirror.com
./hfd.sh sradc/chunked-shuffled-wikipedia20220301en-bookcorpusopen --dataset --tool aria2c -x 4

这样就能将数据集下载到当前目录。

可能会报错缺少aria2c之类的工具，就用linux命令安装一下。

其他下载方法可参考：https://hf-mirror.com/

下载大模型的其他方式见：https://blog.csdn.net/ybdesire/article/details/134204332

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ybdesire

关注关注

3
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
在hf-mirror下载数据集的方式

在huggingface的替代网站hf-mirror上下载数据集的方式
复制链接

扫一扫

专栏目录

HF ECG-数据集

03-27

【标题】"HF ECG-数据集"是一个专门针对心力衰竭（Heart Failure, HF）的心电图（Electrocardiogram, ECG）数据集，它为研究和开发心力衰竭检测和诊断算法提供了宝贵的资源。该数据集包含多个子文件，用于训练、测试...

HF-LPX30系列低功耗小尺寸Wi-Fi模组用户手册

11-28

总之，HF-LPX30系列Wi-Fi模组是为嵌入式智能产品设计的理想选择，其强大的功能集、低功耗特性、灵活的天线选项和易于开发的特性，使得它在物联网(IoT)应用中具有广泛的应用前景。无论是智能家居、工业自动化还是移动...

参与评论您还未登录，请先登录后发表或查看评论

【hf-mirror】HuggingFace镜像站助你实现模型自由

GIS摆渡人

04-12

764

随着大模型的发展，越来越多人员参与到大模型炼丹和实践中，但HuggingFace在国内无法方便访问，带来不少问题。如果你可以翻墙等方式访问HuggingFace，那优先还是推荐 HuggingFace Hub。当前，前提是网络质量较好，能够满足需求。

利用hf-mirror镜像+linux命令行下载数据集

最新发布

xiao_ZHEDA的博客

05-20

467

hf-mirror下载数据集

hf-mirror 使用

小田的笔记簿

01-15

2629

命令下载搜索下载 gated model

使用Huggingface镜像站hf-mirror.com下载资源

TracelessLe的专栏

01-31

8153

hf-mirror.com是Huggingface的镜像网站，为用户提供了一个备用的访问通道，解决了无法访问huggingface.co的问题。通过hf-mirror.com，我们可以正常地下载所需的模型和数据集，享受Huggingface提供的强大功能。

国内如何下载huggingface模型、数据集

wandererXX的博客

01-03

2499

镜像网站1：https://hf-mirror.com/镜像网站2：https://aliendao.cn/#/可以直接使用wget下载。

【candle】（2）：使用hf-mirror镜像下载TheBloke/Llama-2-7B-GGML的q4_0.bin文件，并设置HF_HOME，example模块可以识别下载的模型

freewebsys的专栏

12-16

1518

【candle】（2）：使用hf-mirror镜像下载TheBloke/Llama-2-7B-GGML的q4。还可以使用 https://aliendao.cn/#/ 进行加速下载。同时不要安装 rust-docs 有 700 多MB ，实在是没有用。

使用hf_transfer和hf-mirror下载模型

My blog tour

04-21

540

经过一番折腾，各种路径切换，包括使用绝对路径都没用，我猜应该是模型的问题，魔搭上的all-MiniLM-L6-v2可能没有更新。，参考的是文章开头贴的那篇知乎的文章，那篇写的挺全面的。然后去hugging-face下载，就不报错了。用这个的时候一直报错。

【AI之路】使用huggingface_hub通过huggingface镜像站hf-mirror.com下载大模型（附代码，实现大模型自由）

IT里的交易员-博客

01-10

8981

要玩AI大模型，Hugging face 不可错过，但资源虽不错，可奈何国内下载速度很慢，动则GB的大模型，下载很容易超时，经常下载不成功。很是影响玩AI的信心。（有人说用迅雷啊，试试就知道了。经过多次测试，终于搞定了下载，即使超时也可以继续下载。就算程序中断，再打开仍可断点续传。真正实现下载无忧，大模型自由！通过镜像和程序化下载，可以彻底解决大模型下载，再配合大模型框架就可以自由玩耍了。【AI之路】使用Jan.ai在本地部署大模型开启AI对话（含通过huggingface下载大模型，实现大模型自由）

使用hf-mirror.com镜像网站下载模型

weixin_46072203的博客

03-14

1028

【代码】使用hf-mirror.com镜像网站下载模型。

Hugging Face怎么通过国内镜像去进行模型下载（hf-mirror.com）

热门推荐

weixin_54703767的博客

01-18

1万+

Hugging Face 是一家专注于自然语言处理（NLP）技术的公司，以其开源贡献和先进的机器学习模型而闻名。该公司最著名的产品是 Transformers 库，这是一个广泛使用的 Python 库，它提供了大量预训练模型，如 BERT、GPT-2、T5 和其他模型，这些模型可以用于各种 NLP 任务，如文本分类、情感分析、文本生成等。Hugging Face 还提供一个在线平台，允许社区成员共享和协作他们的模型。

H907-HF-Z 弹性.doc

10-23

H907-HF-Z系单组份含环氧树脂高弹性胶粘剂，广泛应用于各类电子元器件、电工电器、机电五金、磁性元件、光电产品、汽配组件等之粘接固定，对于金属、陶瓷、玻璃、纤维制品及硬质塑胶之间的封装粘接，有优异的粘接...

配电模型-三凌伺服-HF-KP系.rar

09-28

如HF-KP73B、HF-KP23、HF-KP43、HF-KP13以及一个特殊型号HF-MP13G7，这些文件都是SolidWorks格式的3D模型文件，可以打开并旋转查看各个角度，以帮助设计师更好地理解电机的几何结构和安装方式。通过这些模型，设计...

磐正H81M-HF驱动程序下载

03-19

支持LGA 1150第四代Intel的酷睿i7/酷睿i5/酷睿i3/奔腾/赛扬处理器支持XMP/AMP DDR3 双通道内存日系固态电容/铁镍体防磁电感/优质元器件独立音效芯片，独立音频讯号走线，提升音效保真度独立音频供电采用最高质量...

国内高速下载huggingface上的模型

提笔忘字的帝国

11-28

5973

Python版本至少是3.8。安装hugging face官方提供的下载工具，配置镜像。

【Huggingface】如何访问Huggingface，Huggingface镜像

q742971636的博客

01-09

3788

方法三：(非侵入式，能解决大部分情况)huggingface 提供的包会获取系统变量，所以可以使用通过设置变量来解决。方法一：使用huggingface 官方提供的 huggingface-cli 命令行工具。本站域名 hf-mirror.com，用于镜像 huggingface.co 域名。不过有些数据集有内置的下载脚本，那就需要手动改一下脚本内的地址来实现了。(3) 下载需要登录的模型（Gated Model）更多用法（多线程加速等）详见这篇文章。参数，token 获取具体参见上文。

huggingface 下载大模型

ab0902cd的博客

11-03

1501

大模型下载方法

huggingface-cli 命令下载数据集

03-28

huggingface-cli是一个命令行工具，可以用于下载和管理Hugging Face提供的各种数据集、模型和任务。通过huggingface-cli，你可以方便地从命令行中下载数据集。要使用huggingface-cli下载数据集，你可以按照以下步骤进行操作： 1. 首先，确保你已经安装了huggingface-cli。你可以使用pip命令进行安装： ``` pip install huggingface-cli ``` 2. 安装完成后，你可以使用以下命令下载数据集： ``` huggingface-cli datasets pull <dataset_name> ``` 其中，`<dataset_name>`是你想要下载的数据集的名称。你可以在Hugging Face的数据集页面上找到各种可用的数据集名称。 3. 下载完成后，数据集将被保存在默认的数据集目录中。你可以使用以下命令查看默认目录： ``` huggingface-cli env ``` 在输出中，你可以找到`HF_DATASETS_CACHE`变量，它指示了默认的数据集目录。 4. 如果你想将数据集保存到其他位置，可以使用`--dest`参数指定目标目录： ``` huggingface-cli datasets pull <dataset_name> --dest <destination_directory> ``` 其中，`<destination_directory>`是你想要保存数据集的目标目录。希望以上信息对你有帮助！如果你还有其他问题，请继续提问。

“相关推荐”对你有帮助么？

非常没帮助
没帮助
一般
有帮助
非常有帮助

提交