在服务器高速下载hugging face模型!不用翻墙,几行代码即可

打开终端,连接服务器。百兆镜像下载,亲测好用。不用再一点点上传啦。本地下载也一样。

记住镜像网址:HF-Mirror - Huggingface 镜像站 ,里面有教程。

1.打开终端,输入命令,配置参数(终端如果重连了,重新配)

Linux:

export HF_ENDPOINT="https://hf-mirror.com"
export HF_HUB_ENABLE_HF_TRANSFER=1

Windows Powershell:

$env:HF_ENDPOINT = "https://hf-mirror.com"

2.在虚拟环境中输入命令,导包

pip install -U huggingface_hub            注意不是huggingface-cli,下面下载时才是,要不然会卡。

pip install hf_transfer                            负责加速

3.输入命令,下载模型!

huggingface-cli download --resume-download baichuan-inc/Baichuan2-7B-Base --local-dir-use-symlinks False --cache-dir D:\Workspace\baichuan

其中baichuan-inc/Baichuan2-7B-Base是所下载模型的作者及模型名

备注:

所下载模型可在 https://hf-mirror.com 中先搜索是否存在

--cache-dir 后是文件下载位置,模型位于snapshots子文件中。

Hugging Face上,你可以使用其提供的`transformers`库中的`AutoModel`类配合`torch.hub`模块将预训练模型下载到本地。如果你想将模型下载到远程服务器,首先需要确保服务器上有合适的环境已经安装好`transformers`库及必要的依赖。 以下是一个基本步骤: 1. **安装所需库**:如果你的服务器上没有安装`transformers`,可以通过pip进行安装: ``` pip install transformers torch ``` 2. **选择模型**:确定你要使用的模型,例如,你可以指定模型的名称,如`'bert-base-chinese'`: ```python from transformers import AutoTokenizer, AutoModel model_name = "bert-base-chinese" ``` 3. **下载模型**: ```python tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModel.from_pretrained(model_name) # 这将会下载模型的权重文件 model.save_pretrained('/path/to/remote/server/directory') tokenizer.save_pretrained('/path/to/remote/server/directory') ``` 将`'/path/to/remote/server/directory'`替换为你实际的远程服务器路径。 4. **验证模型**:一旦模型和分词器保存成功,可以在远程服务器上加载并验证它们: ```python loaded_model = AutoModel.from_pretrained('/path/to/remote/server/directory') loaded_tokenizer = AutoTokenizer.from_pretrained('/path/to/remote/server/directory') ``` 5. **访问模型**:确保远程服务器能够通过网络共享这个目录,通常这涉及到设置适当的权限和防火墙规则。 注意:由于版权和隐私原因,某些模型可能不允许直接下载,你可能需要查阅Hugging Face的官方文档或联系模型所有者了解详细信息。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值