背景:
服务器代理也配了,huggingface-cli 了一下午,愣是没下载成,故撰此文,以示吾之愚。国内的魔搭(ModelScope)社区作为huggingface的平替,官方给了很多下载示例,无论是python还是命令行,都是非常简单易上手,这里就不多说了。但是,相比于huggingface,魔搭还是有很多不足的,比如某个大模型的AWQ、GPTQ不同位数的量化版本等。因此,有些情况下还是不得不拥抱下脸脸。
下载流程:
此文只写一种命令行的下载方式哈,其余的自行度娘吧。
第一步:安装huggingface-hub
pip install huggingface-hub -i https://pypi.tuna.tsinghua.edu.cn/simple
第二步:用huggingface-cli命令下载模型
huggingface-cli download --resume-download <repo/name> --local-dir <path/to/local/dir>
完啦,就这,网上大部分文章都是这么写的,按道理没啥错啊,代理也配好了,可为啥你还一直报错啊,为啥啊?因为你没亮牌牌,你没登录!!!
huggingface-cli login
键入上述命令直接会叫你输入access token,输入了就可以正常下了。好了,你可能会问,啥是access token?access token就是牌牌,你得去拥抱脸官网(https://huggingface.co/)登录,用户中心面板有个Access Token选项:
然后去创建token就哦了(第一次搞,页面顶端可能会有个邮件认证,得认证后才能点击这个按钮):
好了,你已经有牌牌了,键入huggingface-cli login命令后再输入这个你创建的token就可以直接下载了。
啊啊啊啊啊,我没科学上网呀,我流量不够用啊,一个大模型干我几百个G,我肉疼啊咋办?国内源(HF-Mirror),你值得拥有!!!不能说一模一样,简直是一模一样。
这源咋用,麻烦不?不麻烦,贼简单。
huggingface国内源使用流程:
export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download --resume-download <repo/name> --local-dir <path/to/local/dir>
人家官网首页写了好几种方式,我就不写了,告辞。(我jio嘞第二种好用,正常网速很快,要是下载不动了,多次重试就行,会增量下载嘞)
NOTE:没科学上网,可能需要先 export HF_ENDPOINT=https://hf-mirror.com 才能 huggingface-cli login !!!