一、引言
Hugging Face 🤗是一家专注于自然语言处理(NLP)技术的公司,以其开源贡献和先进的机器学习模型而闻名。该公司最著名的产品是 Transformers 库,这是一个广泛使用的 Python 库,它提供了大量预训练模型,如 BERT、GPT-2、T5 和其他模型,这些模型可以用于各种 NLP 任务,如文本分类、情感分析、文本生成等。Hugging Face 还提供一个在线平台,允许社区成员共享和协作他们的模型。这种开源和协作的方法促进了 NLP 领域的创新和发展,使 Hugging Face 成为人工智能研究和应用领域的一个重要玩家。
二、使用huggingface-cli命令行工具
1. pip下载工具
pip install -U huggingface_hub -i https://pypi.tuna.tsinghua.edu.cn/simple/
这里使用了清华的镜像源进行全局下载。
2. 设置系统环境变量
将系统变量HF_ENDPOINT
设置为 https://hf-mirror.com
,然后运行您的脚本,如
export HF_ENDPOINT=https://hf-mirror.com
3. 模型下载
- 基本命令
huggingface-cli download --resume-download --local-dir-use-symlinks False ${模型在huggingface上的名字} ${模型文件名}.gguf --local-dir ${模型存储路径}
- Gated Model
如果需要下载限制访问的模型(Gated Model),则需要添加 --token
参数,并使用在 Hugging Face 官网获得的访问令牌。
huggingface-cli download --token hr_*** --resume-download --local-dir-use-symlinks False ${模型在huggingface上的名字} ${模型文件名}.gguf --local-dir ${模型存储路径}
然后就可以快速下载所需要的模型啦~