如何优雅的从Hugging Face下载repo中的部分目录下的文件

从Hugging Face上下载模型是作为深度学习开发者每天都要面对的问题。但是作为非图形页面的开发者而言,Hugging Face对文件的转发策略为我们直接从链接下载所需的文件带来了困难。本文提供了利用官方API下载整个repo中部分目录下的文件的方法。

下载某一目录下的全部文件

首先,安装Hugging Face的python API:

pip install huggingface_hub

随后新建download.py,并输入:

from huggingface_hub import snapshot_download
snapshot_download(repo_id='your/target/repo', allow_patterns='index/path/you/want/to/download/*', cache_dir='local/path/you/want/to/save')

最后python download.py执行即可。由于网络原因,可能中间会出现Timeout,重新执行会自动断点续传。

部分文件类型的下载

只允许下载部分类型的文件(以JSON为例)

from huggingface_hub import snapshot_download
snapshot_download(repo_id='your/target/repo', allow_patterns='*.json', cache_dir='local/path/you/want/to/save')

不允许下载部分类型的文件(以JSON为例)

from huggingface_hub import snapshot_download
snapshot_download(repo_id='your/target/repo', ignore_patterns=['*.json'], cache_dir='local/path/you/want/to/save')

其他使用详见官方API

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Therock_of_lty

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值