用git下载hugging face上的大模型，以Qwen1.5-7B为例

Tortorish~

已于 2024-06-04 13:46:09 修改

阅读量1.1k

点赞数 9

文章标签： git

于 2024-06-04 13:44:20 首次发布

本文链接：https://blog.csdn.net/tortorish/article/details/139439951

版权

1. 首先找到模型的主页，点击clone repository

2、注意下载需要科学上网，需要在git客户端里配置好vpn的端口；并且要安装好git lfs（用于下载大文件）；

有关如何安装git-lfs，可以看这篇教程git-lfs安装方法，非常简单。

第三行命令GIT LFS SKIP SMUDGE=1的意思是跳过大文件，不进行下载。

3、开始下载后是没有进度显示的，耐心等待即可。

4、显示done即下载完成

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Tortorish~

关注关注

9
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

开源模型应用落地-qwen1.5-7b-chat-LoRA微调-Firefly（四）

没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干

04-02

1万+

使用开源的Firefly大模型训练项目微调qwen1.5-7b-chat模型

开源模型应用落地-模型量化-Qwen1.5-7B-Chat-GPTQ-Int8（一）

没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干

05-17

1万+

理解GPTQ模型量化技术，以低成本体验大语言模型的魅力

参与评论您还未登录，请先登录后发表或查看评论

git lfs使用（huggingface下载大模型文件）

最新发布

leah126的博客

03-03

1425

在 Qwen2 发布后的过去三个月里，许多开发者基于 Qwen2 语言模型构建了新的模型，并提供了宝贵的反馈。在这段时间里，通义千问团队专注于创建更智能、更博学的语言模型。今天，Qwen 家族的最新成员：Qwen2.5系列正式开源！这可能是历史上最大的开源发布！最新发布包括了语言模型 Qwen2.5，以及专门针对编程的 Qwen2.5-Coder 和数学的 Qwen2.5-Math 模型。

使用Git下载大语言模型

Python，数据分析，机器学习，深度学习

09-27

7686

在下载Huggingface和ModelScope上面的大语言预训练模型的时候，经常会因为网页无法访问或者文件太大无法下载的情况，是大家常常比较苦恼的事情，下面给出用Git下载模型到本地的方法，可以轻松解决上述问题。

git 方式下载大模型和其他的方式下载大模型

12-06

480

加上--depth 1参数，只拉取最近版本，不拉取写作记录。

Hugging Face 模型下载

CeciliaLeng的博客

12-26

545

【转载】Hugging Face——大规模预训练模型下载_GeekZW的博客-CSDN博客_huggingface 下载模型

开源模型应用落地-qwen1.5-7b-chat与vllm实现推理加速的正确姿势（八）

没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干

03-01

3042

qwen1.5-7b-chat集成vllm，流式输出

开源模型应用落地-qwen1.5-7b-chat与vllm实现推理加速的正确姿势（九）

没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干

03-04

2416

qwen1.5-7b-chat集成vllm，构建与OpenAI-API兼容的API服务

开源模型应用落地-Qwen1.5-MoE-1/3的激活参数量达到7B模型的性能

没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干

05-20

7043

使用Qwen1.5-MoE-A2.7B，体验更快的推理速度

通过git clone批量下载huggingface模型和数据集

weixin_44034841的博客

07-24

1万+

想要下载huggingface的模型，却发现只能一个个文件下载非常不方便，又或者官方提供的api不好用或者下载不下来，这里提供一个通过git clone一次性下载整个数据集/模型下来的高效方法。

Qwen2.5 全链路模型体验、下载、推理、微调、部署实战！

xxue345678的博客

09-19

2万+

进行微调。在这里，我们将展示可直接运行的demo。

使用git下载hugginig face模型

qq_44911284的博客

04-23

341

【代码】使用git下载hugginig face模型。

如何使用git下载huggingface中的仓库和指定的大型文件

qq_41336083的博客

09-12

1073

有的仓库会放很多checkpoints进去，如果全部下载实在太大了，这时候使用cd进入到你想要下载的位置，再使用以下命令，以下载模型中某个权重为例子。第一步：git clone http://........ 下载整个文件，但是clone会忽略数个G的权重文件。第二步：安装lfs，如果已有lfs则只需要直接git lfs install进行初始化。如果出现中断：git lfs fetch 进行恢复。第三步（2）：直接下载全部。

开源大模型（LLM）下载

baidu_20834545的专栏

04-25

1643

开源大语言模型下载、LLM

HuggingFace下载模型

zywhehe的博客

12-20

4116

HuggingFace下载模型

通过clone的方式，下载huggingface中的大模型（git lfs install）

qq_40600379的博客

07-30

2万+

3、再git clone https://huggingface.co/THUDM/chatglm2-6b，在linux可以正常，但是window如果出现了下面的报错，则需要进入chatglm2-6b的目录。2、点击【Clone repository】，在命令行中，输入【git lfs install】（安装了这个，才会下载大文件，不然图中的.bin文件都是不会被下载的）1、如图：可以手动一个个文件下载，但是那样太慢了，此时，可以点击下图圈起来的地方。

qwen2-7b大模型使用

01-08

### Qwen2-7B-Instruct 大模型使用教程 #### 安装环境准备为了顺利运行Qwen2-VL-7B-Instruct大模型，需先准备好相应的开发环境。推荐采用Anaconda管理Python虚拟环境并安装必要的依赖库[^1]。 ```bash conda create -n qwen_env python=3.9 conda activate qwen_env pip install transformers datasets torch sentencepiece accelerate ``` #### 下载预训练模型有两种主要途径来获取此模型文件： - **通过Hugging Face平台**：可以直接利用`transformers`库中的API加载远程权重。 ```python from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-VL-7B-Instruct", trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-VL-7B-Instruct", device_map="auto", trust_remote_code=True) ``` - **Git LFS克隆仓库**：对于希望离线部署的情况，则可以通过命令行工具git-lfs从指定地址拉取资源[^2]。 ```bash git lfs clone https://www.modelscope.cn/qwen/Qwen2-VL-7B-Instruct.git cd Qwen2-VL-7B-Instruct ``` #### 配置微调参数当计划对该基础架构做进一步优化调整时，可参照配置样例设置具体的超参选项[^3]。 ```yaml model: model_name_or_path: "/data/model/qwen2-vl-7b-instruct" adapter_name_or_path: "/data/model/sft/qwen2-vl-7b-instruct-sft/checkpoint-14" template: "qwen2_vl" finetuning_type: "lora" export: export_dir: "/data/model/merge/qwen2-vl-7b-instruct-sft" export_size: 2 export_device: "gpu" export_legacy_format: False ``` #### 应用场景实例基于上述准备工作完成后，即可着手开展诸如图像描述、视频理解以及文本生成等多种跨媒体任务的研究工作。具体实现逻辑取决于业务需求和个人创意发挥空间较大，在官方文档中有更多详细的指导说明可供查阅。