【大模型部署实践-1】从huggingface下载开源模型

一、背景需求
科研中也要研究消费级显卡上能跑的大模型的性能和微调了，需要从huggingface上下载开源模型。（linux服务器）

二、解决方案

1. 直接使用梯子来下载。缺点：需要配置代理，流量太贵，且不稳定。一些方法见：如何快速下载huggingface大模型
2. 比较好的方式：使用国内镜像网站下载模型，https://hf-mirror.com/

具体方式为huggingface-cli download前加上HF_ENDPOINT=https://hf-mirror.com，例如

HF_ENDPOINT=https://hf-mirror.com huggingface-cli download --resume-download internlm/internlm-20b --local-dir internlm-20b

如果是windows，上面的方式可能也由于镜像站原因不够稳定，可以用国内模型社区：

参考这篇文章：国内高速下载huggingface上的模型

例如baichuan2：git lfs clone https://www.modelscope.cn/baichuan-inc/Baichuan2-13B-Chat.git

三、注意事项
下载的模型源文件不在指定的local-dir中，而是指向另一个cache的地方，如果需要迁移的话感觉还挺麻烦的。

四、参考
从服务器上直接下载huggingface模型，解决huggingface无法连接问题