【AI之路】cmd命令行通过Huggingface镜像站快速下载模型文件的方法

IT里的交易员

于 2025-04-22 16:36:43 发布

阅读量263

点赞数 3

分类专栏： AI 文章标签：人工智能 python

本文链接：https://blog.csdn.net/popboy29/article/details/147424324

版权

AI 专栏收录该内容

10 篇文章

订阅专栏

文章目录

前言
一、huggingface-cli 是什么？
二、使用步骤
总结

前言

Hugging Face Hub 是分享机器学习模型、演示、数据集和指标的首选之地。 huggingface_hub 库可以轻松下载Huggingface上有用的模型和数据集元数据。
但大模型文件通常较大，国内下载太慢，那有没有高效便捷的方法？

这个当然必须有！

一、huggingface-cli 是什么？

huggingface-cli 是 Hugging Face 官方提供的命令行工具，自带完善的下载功能。

首先安装依赖

pip install -U huggingface_hub

二、使用步骤

1. 设置环境变量加个速

hf-mirror.com是 huggingface.co镜像，国内下不下来的模型，通过这个就可以轻松下载。先使用如下命令给Windows临时设置一下环境变量，cmd窗口直接运行如下命令：

set HF_ENDPOINT=https://hf-mirror.com

运行以上命令后，即从镜像网站下载，速度可以提升好几个档位。

2. 下载示例

这里以下载Index-TTS 的模型文件为例
在这里插入图片描述
同时下载多个文件，具体命令如下：

huggingface-cli download IndexTeam/Index-TTS bigvgan_discriminator.pth bigvgan_generator.pth bpe.model dvae.pth gpt.pth unigram_12000.vocab --local-dir checkpoints

参数示意：
--local-dir checkpoints 指定下载文件保存的本地目录，这里指定为名为 checkpoints 的文件夹。
--resume-download 选项允许如果下载中断了能够继续下载。不过使用了镜像库，很快就下完了，这个参数就不用加了。

3. 完整运行结果

(base) C:\Users\Administrator>set HF_ENDPOINT=https://hf-mirror.com

(base) C:\Users\Administrator>huggingface-cli download IndexTeam/Index-TTS bigvgan_discriminator.pth bigvgan_generator.pth bpe.model dvae.pth gpt.pth unigram_12000.vocab --local-dir checkpoints
Fetching 6 files:   0%|                                                                          | 0/6 [00:00<?, ?it/s]Downloading 'gpt.pth' to 'checkpoints\.cache\huggingface\download\_7f-xidG2lZwkbGRwdGaUEGM9-w=.7797ed691d9c0295fd30af153d9ff04501e353a4c67c3f898e4b0840a5ef10dd.incomplete'
Downloading 'bpe.model' to 'checkpoints\.cache\huggingface\download\Gxtyhw1DNb_863rgFQ-g37D7LQI=.cf30028855ff4a89f6663325c88b44a69f74f97990dd410a4b35414c4db31779.incomplete'
Downloading 'bigvgan_discriminator.pth' to 'checkpoints\.cache\huggingface\download\rP61RaCCq8JUX_UrFOklpHIyM0A=.8a11c977d56c2500c7978affd08678da7a217af124356d88010fa2abcbf51984.incomplete'
Downloading 'unigram_12000.vocab' to 'checkpoints\.cache\huggingface\download\DyI2HlpVtENU6daLhCfFZFW3_ss=.337ffb4197e69c3d7aa57efe2022bbde577b951d.incomplete'
Downloading 'dvae.pth' to 'checkpoints\.cache\huggingface\download\Eo-uOl65TcDqOo9qbdw9EufkiwQ=.c112404dfe25d8d88084b507b0637037a419b4a5a0d9160516d9398a8f2b52c8.incomplete'
Downloading 'bigvgan_generator.pth' to 'checkpoints\.cache\huggingface\download\T7MAeDN3QnT7K91CJaMdYrAx26o=.9ec77084929fad053355669c8b5986e32542f13afeff78ad93389a8f06ce62b0.incomplete'
unigram_12000.vocab: 94.7kB [00:00, 429kB/s]
Download complete. Moving file to checkpoints\unigram_12000.vocab
bpe.model: 100%|█████████████████████████████████████████████████████████████████████| 476k/476k [00:00<00:00, 706kB/s]
Download complete. Moving file to checkpoints\bpe.model██████████████████████████████| 476k/476k [00:00<00:00, 717kB/s]
dvae.pth: 100%|█████████████████████████████████████████████████████████████████████| 243M/243M [00:22<00:00, 10.6MB/s]
Download complete. Moving file to checkpoints\dvae.pth                                      | 0.00/243M [00:00<?, ?B/s]
bigvgan_generator.pth: 100%|████████████████████████████████████████████████████████| 525M/525M [00:54<00:00, 9.59MB/s]
Download complete. Moving file to checkpoints\bigvgan_generator.pth█████████████████| 243M/243M [00:22<00:00, 14.2MB/s]
gpt.pth: 100%|██████████████████████████████████████████████████████████████████████| 697M/697M [01:28<00:00, 7.88MB/s]
Download complete. Moving file to checkpoints\gpt.pth                              | 73.4M/525M [00:21<02:16, 3.31MB/s]
bigvgan_discriminator.pth: 100%|██████████████████████████████████████████████████| 1.63G/1.63G [01:52<00:00, 14.5MB/s]
Download complete. Moving file to checkpoints\bigvgan_discriminator.pth████████████▉| 524M/525M [00:54<00:00, 14.6MB/s]
Fetching 6 files: 100%|██████████████████████████████████████████████████████████████████| 6/6 [01:53<00:00, 18.91s/it]
C:\Users\Administrator\checkpoints

(base) C:\Users\Administrator>cd checkpoints

(base) C:\Users\Administrator\checkpoints>dir
 驱动器 C 中的卷没有标签。
 卷的序列号是 XXXX-XXXX

 C:\Users\Administrator\checkpoints 的目录

2025/04/22  16:03    <DIR>          .
2025/04/22  16:03    <DIR>          ..
2025/04/22  16:01    <DIR>          .cache
2025/04/22  16:03     1,629,487,449 bigvgan_discriminator.pth
2025/04/22  16:02       525,166,944 bigvgan_generator.pth
2025/04/22  16:01           476,049 bpe.model
2025/04/22  16:01       243,316,270 dvae.pth
2025/04/22  16:02       696,529,044 gpt.pth
2025/04/22  16:01            94,747 unigram_12000.vocab
               6 个文件  3,095,070,503 字节
               3 个目录 192,899,473,408 可用字节

(base) C:\Users\Administrator\checkpoints>

总结

看到了吗？只是添加一个参数，下载大模型就搞定了。

当然也可以使用python程序来下载。具体见前期博文：
【AI之路】使用huggingface_hub通过huggingface镜像站hf-mirror.com下载大模型（附代码，实现大模型自由）https://blog.csdn.net/popboy29/article/details/135512259