如何使用huggingface下载数据集和预训练模型

        如果各位在下载huggingface上的模型和数据库也会出现“connect closed/failed”等错误，不妨试试下面的解决方案，思路大致是，通过设置镜像的方式来解决。

下载数据集

1. 找到你要下载的数据库名称，并复制

2. 打开终端，并选择需要使用的conda环境，编写bash文件(或者自己逐行也行)

#安装
pip install -U huggingface_hub
#设置镜像
export HF_ENDPOINT=https://hf-mirror.com
#数据库下载设置
huggingface-cli download --repo-type dataset --resume-download liuhaotian/LLaVA-CC3M-Pretrain-595K --local-dir dataset  --local-dir-use-symlinks False

一共上述3行，安装第三方库 ----> 设置环境 ----> 下载数据库

其中：

--repo-type dataset：下载类型为数据库

--resume-download liuhaotian/LLaVA-CC3M-Pretrain-595K  这个是需要下载的数据库名称

--local-dir dataset 保存的文件夹名称

--local-dir-use-symlinks False 关闭软连接，网站上数据库什么样下载下来就是什么样

3. 终端出现下载条说明开始下载了。

下载预训练模型

同理，和下载数据库主要的区别就是下载命令参数有些不同，这里直接上两个下载链接，一个是CLIP 一个是 Qwen-4B的示例

pip install -U huggingface_hub
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download --resume-download openai/clip-vit-large-patch14-336 --local-dir ./openai/clip-vit-large-patch14-336 --local-dir-use-symlinks False
huggingface-cli download --resume-download Qwen/Qwen1.5-4B --local-dir ./Qwen1.5-4b-Chat --local-dir-use-symlinks False