linux下如何下载huggingface模型到本地

最新推荐文章于 2024-08-24 16:00:20 发布
最新推荐文章于 2024-08-24 16:00:20 发布
阅读量421 收藏 2
点赞数 3
文章标签： linux 运维 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39325964/article/details/140928189
版权

由于项目需要下载hugginface上的模型：

bge-large-zh-v1.5

使用huggingface-cli 来下载，这个工具是 Hugging Face 官方提供的命令行工具，自带完善的下载功能。

我使用的OS是：CentOS Linux release 7.9.2009 (Core)

具体步骤：

  • 安装huggingface_hub：
pip install huggingface_hub
  • 设置环境变量：（建议写入到.bash_profile中）
export HF_ENDPOINT=https://hf-mirror.com
  • 下载模型：
huggingface-cli download --resume-download BAAI/bge-large-zh-v1.5 --local-dir /models/bge-large-zh-v1.5 --local-dir-use-symlinks False --resume-download

波哥bogo
关注
在本地运行大型语言模型 (LLM) 的六种方法（2024 年 1 月）
gongdiwudu的专栏
02-05 1万+
这篇文章被称为“本地运行大型语言模型 (LLM) 的五种方法”，于 2024 年 1 月更新了有关vLLM的内容。虽然 vLLM 于 2023 年 6 月发布，但它最近获得了更多关注。因此，我想将其添加到此列表中。
windows系统huggingface连接不上的解决方案
最新发布
herosunly的博客
09-01 1万+
本文主要介绍了windows系统huggingface连接不上的解决方案，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 解决方案 2.1 解决方案一 2.2 解决方案二
huggingface 中模型下载及部署演示
@bangbang的博客
04-27 2691
huggingface 可以理解为对于，提供了模型、数据集、类库（比如transformers|peft|accelerate）、教程等。官方地址:ModelsDatasetsCVNLP多模态音频60多万。
linux使用国内镜像源下载huggingface文件
qq_43725659的博客
12-21 2456
Linux下载huggingface模型国内镜像
【实战教程】linux系统下载huggingface大模型教程
weixin_36488653的博客
04-24 1504
下载大模型
huggingface 下载模型和数据集方法与位置（linux服务器）
frontiers的博客
05-20 9015
如果可以访问官方教程，建议直接参考官方教程。本文是对官方教程和个人使用经历的片面总结。这里仅仅是把模型下载下来的过程，找到模型和数据集下载位置是为了便于使用本地模型的权重。huggingface的使用环境为python。
[linux] huggingface transformers 如何下载模型至本地 & git lfs install 报错
心宝的博客
06-21 2597
如果不套循环，会报错 " requests.exceptions.ConnectionError: ('Connection aborted.', ConnectionResetError(104, 'Connection reset by peer'))"。最终，我还是给 from_pretrained 套了循环，来解决的。但是 git lfs install 的时候报错。
如何在linux远程服务器上直接下载huggingface官网的模型
m0_58173553的博客
07-20 628
在AI领域如nlp/cv等，做实验的时候经常会用到huggingface上各种开源的模型，同时也需要远程服务器（如实验室的服务器）的支持，才能有合适的算力并开展实验。本人目前也是nlp方向的新入门的小白，方法也都是网上查来的，浅浅记录一下在远程服务器上下载huggingface的模型和数据集的全过程。具体使用的是huggingface-cli，属于huggingface_hub库，这是HuggingFace官方提供的命令行工具，属于官方工具，那各方面的肯定很完善。下载模型，具体用法如下。
huggingface如何使用ssh命令，下载数据集或者模型 比如：git clone git@hf.co:openchat/openchat_8192
qq_41810188的博客
07-10 3926
huggingface使用ssh命令下载数据集或者模型
GLM-4本地部署的实战教程
热门推荐
herosunly的博客
06-05 11万+
本文主要介绍了GLM-4-9B本地部署的实战教程，希望对学习和使用大模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 下载模型文件 3. 运行glm-4-9b-chat
【大模型部署】小白教学,离线本地部署AI-fastGPT-资源包
03-19
5. **卷挂载**：将本地文件系统中的`config.json`等文件挂载到Docker容器中，使模型能够访问这些配置。 使用Docker的好处在于，它可以创建一个隔离的运行环境，确保模型的依赖项和运行条件与开发和生产环境一致。...
从零搭建linux本地私有大模型，及兼容Openai Api
m0_38007743的博客
08-24 1037
当下大家都在热衷于大规模模型训练、精细调整大型语言模型，并竞相升级GPU性能的时候，我却选择了一条不同的道路——默默寻找那些被忽视的资源和机会。作为一名拥有超过十年经验的IT行业工作者，我对人工智能技术充满了好奇与热情。然而，要涉足这一领域，最基础的门槛之一便是拥有一台能够处理复杂计算任务的高性能服务器。又或者通过付费访问阿里的通义千问、百度的文心一言等付费模型的API，笔者自己目前就在用阿里的千问大模型API进行开发。
下载huggingface中数据集/模型(保存到本地指定路径)
MK422的博客
03-30 9899
1.若需要将数据集/模型放在指定路径，需要指定"cache-dir"参数，而不是“local-dir”2.直接从huggingface中下载对应的模型和数据集，需要外网。因此可以使用国内镜像“HF-Mirror - Huggingface 镜像站。
国内高速下载huggingface上的模型
提笔忘字的帝国
11-28 7531
Python版本至少是3.8。安装hugging face官方提供的下载工具，配置镜像。
从Huggingface下载大模型到本地
m0_73222051的博客
08-12 2383
欢迎使用 huggingface 国内镜像站
linux服务器端配置huggingface模型
lanlin的博客
01-05 1273
linux服务器（ubuntu）不能访问huggingface官网，且与本地个人电脑是局域网。从huggingface下载模型时，先用个人电脑下载（可访问huggingface官网），然后上传到服务器对应位置。
HuggingFace - linux环境 修改下载默认缓存路径
Zhou_Dao的博客
07-11 301
本人两种方法均尝试。有效。
通过clone的方式，下载huggingface中的大模型（git lfs install）
qq_40600379的博客
07-30 1万+
3、再git clone https://huggingface.co/THUDM/chatglm2-6b，在linux可以正常，但是window如果出现了下面的报错，则需要进入chatglm2-6b的目录。2、点击【Clone repository】，在命令行中，输入【git lfs install】（安装了这个，才会下载大文件，不然图中的.bin文件都是不会被下载的）1、如图：可以手动一个个文件下载，但是那样太慢了，此时，可以点击下图圈起来的地方。
服务器huggingface模型下载
09-11
在Linux下，模型文件应该存放在~/.cache/huggingface/hub/models--dandelin--vilt-b32-finetuned-vqa/snapshots/d0a1f6ab88522427a7ae76ceb6e1e1e7b68a1d08下。其中，~/.cache/huggingface/hub/为固定路径，models--...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值