Ubuntu上如何优雅下载huggingface上某个gguf模型文件

晨欣

于 2024-09-25 12:26:10 发布

阅读量447

点赞数 2

文章标签： ubuntu linux 运维

本文链接：https://blog.csdn.net/weixin_41338279/article/details/142520019

版权

OS: Ubuntu 22.04 LTS

需求：下载 Gorilla Openfunctions V2 Q2 GGUF模型到本地

https://huggingface.co/gorilla-llm/gorilla-openfunctions-v2-gguf/blob/main/gorilla-openfunctions-v2-q2_K.gguf

方法：使用 wget 命令

wget https://huggingface.co/gorilla-llm/gorilla-openfunctions-v2-gguf/resolve/main/gorilla-openfunctions-v2-q2_K.gguf

wget 相关参数详解可参考这篇博客：Linux wget 命令详解

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

晨欣

关注关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

huggingface高速下载模型的实战代码

herosunly的博客

01-27

19万+

本文主要介绍了huggingface高速下载模型的实战代码，尤其是无法通过国内源进行下载的huggingface模型，希望能对学习大模型的同学们有所帮助。需要特别说明的是，本文的代码是完全原创的，即能够最大限度利用宽度的速度，而且还能实现断点续传。文章目录 1. 背景 2. 实战代码

修改huggingface模型的储存位置的设置方法

热门推荐

weixin_43178406的博客

01-20

7万+

本文主要介绍了修改huggingface模型的储存位置的设置方法，希望能对使用huggingface的同学们有所帮助。文章目录 1. 问题描述 2. 解决方案 2.1 解决方案一 2.2 解决方案二

参与评论您还未登录，请先登录后发表或查看评论

如何用hugging face hub一键下载模型并将模型转换为gguf格式（支持自定义量化）

2301_78453609的博客

03-24

7309

量化就是减少模型所占内存的大小，量化位数越少，模型占有内存越小，但相对可能模型表现会更差，所以建议在模型过大的时候可以适当采用。进入本地【E:\llamaapp\llama.cpp】文件夹（llama.cpp文件夹），在当前环境下将【llama】我尝试了采用convert.py文件失败，所以采用convert-hf-to-gguf.py，成功。下载完成的话，缓存【modelcache】里面选中的文件就可以删除了（所有文件都可以删除）好的，能看到这里的小伙伴都是大牛了，我也是花了好长时间才跑成功的。

如何快速有效的从huggingface上下载模型及加载

xiaomu_347的博客

06-03

8080

您可以点击模型卡片中的“快速使用”按钮查看如何使用Library进行模型的下载。您还可以从 repos 下载文件或将它们集成到您的库中，并且可指定下载模型的地址。默认模型会下载到~/.cache/modelscope/hub中，如果需要修改下载目录，可以手动指定环境变量：MODELSCOPE_CACHE，modelscope会将模型和数据集下载到该环境变量指定的目录中。对应的，如果需要在ModelScope平台上有感兴趣的模型并希望能下载至本地，则ModelScope提供了多种下载模型的方式。

如何下载huggingface的模型到本地

我的博客

02-11

556

如何下载huggingface的模型到本地

ubuntu 20.04 安装 huggingface transformers 环境

weixin_40378209的博客

03-06

1198

ubuntu 20.04 安装 transformers

Hugging face ubuntu使用教程（一）

liangjiubujiu的博客

05-22

550

3.下载的模型存放在~/.cache/huggingface/hub中，添加环境变量修改存储路径。如果有缺失包，如chardet，使用pip install chardet安装。然后重新输入2中的代码，查看存储路径中保存了模型。1. 安装相应的conda虚拟环境，注意需要安装。# 使用情绪分析流水线。

【Huggingface下载model】解决更改从Huggingface上下载语言模型或者数据的默认地址

z851245955的博客

10-25

1160

解决默认下载地址问题，将huggingface的语言模型自动下载到其它影片，避免下载到.cache文件夹里

huggingface无法下载翻墙也不行，一行命令解决，国内镜像

南七小僧的学海无涯

06-11

2438

指定临时环境变量，引导至国内源。

Linux----Ubuntu系统官网下载iso镜像文件

MQ0522的博客

09-15

4万+

Linux----Ubuntu系统官网下载iso镜像文件

国内下载huggingface模型的几种方式

Dlite的技术笔记

05-28

1331

以上方法中，设置环境变量通常是最简单且有效的方式，因为它不需要修改系统级别的配置，而且可以针对特定的命令或脚本进行设置。之后，每次打开终端时，该环境变量会自动设置。如果使用的是其他 shell，比如 zsh，可能需要编辑。来指定下载时使用的镜像站。这种方法不需要修改系统的 DNS 设置，只需在的用户目录下的。请注意，这种方法可能不是最佳选择，因为它会将所有对。工具来下载模型，可以在命令中指定。参数来指定下载目录，同时设置。，可以稳定下载不断线。是本地存储模型的目录。是要下载的模型名称，是要下载的模型名称。

国内快速下载hugging face大模型的方法

程序员记事本

05-22

767

国内快速下载hugging face大模型的方法

第二十一篇-LM-Studio安装部署gguf模型到windows电脑

木卫二号的专栏

02-28

3715

一般CPU,1B 7B 模型，int4量化还是可以用用的，更大模型推荐GPU。

将 HuggingFace 模型转换为 GGUF 及使用 ollama 运行 —— 以 Qwen2-0.5B 为例

最新发布

狮子座明仔知识集散场

08-02

3726

GGUF 格式的全名为（GPT-Generated Unified Format），提到 GGUF 就不得不提到它的前身 GGML（GPT-Generated Model Language）。GGML 是专门为了机器学习设计的张量库，最早可以追溯到 2022/10。其目的是为了有一个单文件共享的格式，并且易于在不同架构的 GPU 和 CPU 上进行推理。但在后续的开发中，遇到了灵活性不足、相容性及难以维护的问题。使用ollama create命令创建自定义模型。

ollama把huggingface下载下来的模型转换为gguf

abments的博客

05-16

3577

ollama把huggingface下载下来的模型转换为gguf

如何创建GGUF模型文件？让你在本地电脑上体验Llama2大型语言模型

dotNET跨平台

11-13

3372

Llama 2 是 Meta 公司发布的最新一代开源大模型，训练数据集达2万亿 Token，上下文长度由 llama 1 的 2048 扩展到 4096，能理解和生成更长的文本，在开源大模型中各基准的测试上表现突出，最重要的是，该模型可免费用于商业用途。关于模型量化大语言模型在各种领域都有着广泛的应用，但是也面临着一些挑战，比如模型的大小、计算量和内存占用都很大，这限制了模型在某些设备上的部署和运...

如何从 HuggingFace 为 Ollama 导入新模型

iCloudEnd的博客

04-22

2350

Ollama 是一款功能强大的工具，可以简化创建、运行和管理大型语言模型 (LLM) 的过程。本教程将指导您完成从 Hugging Face 导入新模型并创建自定义 Ollama 模型的步骤。

Huggingface模型和数据集批量下载

qq_45437316的博客

12-06

1222

本地跑AI应用的时候，模型动不动就是十几个G，总是因为下载模型的问题，卡住时间，Huggingface是国外的网站，国内访问难免会不稳定，用git lfs clone下载大文件的时候，总是会断掉，非常不方便，请求下载，requests获取到所有的下载链接，模拟下载，并且创建不同的文件夹用。此程序可以帮你稳定的下载Huggingface上的数据集和模型。来存放模型，下载有进度条和断点续下载。

ubuntu连不上huggingface

02-07

根据提供的引用内容，出现连不上huggingface的问题可能是因为Ubuntu 16的GLIBC版本不支持新版transformers的tokenizer所需的GLIBC_2.29版本。解决这个问题的方法是升级GLIBC版本或者降级transformers版本。以下是两种解决方法： 1. 升级GLIBC版本： - 首先，确保系统已经安装了GLIBC的开发包。可以使用以下命令进行安装： ```shell sudo apt-get install libc6-dev ``` - 然后，可以尝试使用以下命令升级GLIBC版本： ```shell sudo add-apt-repository ppa:ubuntu-toolchain-r/test sudo apt-get update sudo apt-get upgrade ``` - 最后，重新安装huggingface/transformers并尝试连接。 2. 降级transformers版本： - 首先，卸载当前安装的transformers： ```shell pip uninstall transformers ``` - 然后，安装旧版本的transformers： ```shell pip install transformers==<旧版本号> ``` - 最后，尝试连接huggingface。