HuggingFace模型下载全流程(国内源)

背景:

服务器代理也配了,huggingface-cli 了一下午,愣是没下载成,故撰此文,以示吾之愚。国内的魔搭(ModelScope)社区作为huggingface的平替,官方给了很多下载示例,无论是python还是命令行,都是非常简单易上手,这里就不多说了。但是,相比于huggingface,魔搭还是有很多不足的,比如某个大模型的AWQ、GPTQ不同位数的量化版本等。因此,有些情况下还是不得不拥抱下脸脸。

下载流程:

此文只写一种命令行的下载方式哈,其余的自行度娘吧。

第一步:安装huggingface-hub

pip install huggingface-hub -i https://pypi.tuna.tsinghua.edu.cn/simple

第二步:用huggingface-cli命令下载模型

huggingface-cli download --resume-download <repo/name> --local-dir <path/to/local/dir>

完啦,就这,网上大部分文章都是这么写的,按道理没啥错啊,代理也配好了,可为啥你还一直报错啊,为啥啊?因为你没亮牌牌,你没登录!!!

huggingface-cli login

键入上述命令直接会叫你输入access token,输入了就可以正常下了。好了,你可能会问,啥是access token?access token就是牌牌,你得去拥抱脸官网(https://huggingface.co/)登录,用户中心面板有个Access Token选项:

然后去创建token就哦了(第一次搞,页面顶端可能会有个邮件认证,得认证后才能点击这个按钮):

好了,你已经有牌牌了,键入huggingface-cli login命令后再输入这个你创建的token就可以直接下载了。

啊啊啊啊啊,我没科学上网呀,我流量不够用啊,一个大模型干我几百个G,我肉疼啊咋办?国内源(HF-Mirror),你值得拥有!!!不能说一模一样,简直是一模一样。

这源咋用,麻烦不?不麻烦,贼简单。

huggingface国内源使用流程:

export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download --resume-download <repo/name> --local-dir <path/to/local/dir>

人家官网首页写了好几种方式,我就不写了,告辞。(我jio嘞第二种好用,正常网速很快,要是下载不动了,多次重试就行,会增量下载嘞)

NOTE:没科学上网,可能需要先 export HF_ENDPOINT=https://hf-mirror.com 才能 huggingface-cli login !!!

### 加速Hugging Face模型和资源下载方法 为了提升从Hugging Face下载模型或资源的速度,可以采取多线程加速的方式。常规工具如浏览器默认采用单线程下载,在国内网络环境下可能因为运营商线路质量和QoS等因素而变得缓慢[^1]。 一种有效的解决方案是利用支持多线程下载的应用程序来代替传统的单一连接方式。例如,`aria2c`是一个轻量级且功能强大的命令行实用程序,它能够通过多个源/镜像并行获取文件片段从而实现高速度传输: ```bash aria2c -x 16 https://huggingface.co/path/to/model/file.bin ``` 上述命令中的参数 `-x 16` 表示开启最多16个并发连接数来进行下载操作;用户可以根据实际需求调整此数值以达到最佳性能表现。 此外,还可以考虑使用专门针对 Hugging Face 设计的 Python 库 `transformers` 中内置的功能优化下载流程。该库提供了缓存机制以及智能重试逻辑等功能特性,有助于改善整体用户体验并减少重复请求带来的延迟影响。当调用加载模型接口时,默认情况下会自动处理这些细节问题而不需额外配置: ```python from transformers import AutoModelForCausalLM, AutoTokenizer model_name_or_path = "your-model-name-or-path" tokenizer = AutoTokenizer.from_pretrained(model_name_or_path) model = AutoModelForCausalLM.from_pretrained(model_name_or_path) ``` 这段代码展示了如何简单地初始化一个预训练的语言模型及其对应的分词器实例。内部实现了高效的下载管理策略,确保即使在网络状况不佳的情况下也能顺利完成所需资源的获取工作。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值