git 方式下载大模型和其他的方式下载大模型

使用Git LFS克隆ChatGLM3相关仓库

原创已于 2024-12-19 00:44:18 修改 · 612 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#git

于 2024-12-06 12:14:44 首次发布

git lfs clone https://www.modelscope.cn/OpenBMB/MiniCPM-MoE-8x2B.git
# 加上--depth 1参数，只拉取最近版本，不拉取写作记录
git lfs clone --depth 1 https://www.modelscope.cn/qwen/Qwen1.5-110B-Chat.git

git lfs clone --depth 1 https://www.modelscope.cn/MaxLeton13/chatglm3-6B-32k-int4.git

git lfs clone --depth 1 https://huggingface.co/THUDM/chatglm3-6b

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

sunnf

关注关注

2
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

通过git文件查看大模型下载链接的解决方案

weixin_43178406的博客

03-26

11万+

本文主要介绍了通过git文件查看大模型下载链接的解决方案，希望能对学习大模型的同学们有所帮助。文章目录 1. 问题描述 2. 解决方案

高速下载大模型文件

王小二的博客

09-19

935

使用git lfs命令下载。

参与评论您还未登录，请先登录后发表或查看评论

git lfs使用（huggingface下载大模型文件）

子燕若水的博客

04-06

3136

最近在看BLOOM，但是Huggingface的仓库里除了我想要的pytoch_model_xxxxx.bin,放了一些别的格式的checkpoints，全部下载的话太大了，而且很慢很慢。需要注意，GIT_LFS_SKIP_SMUDGE=1和后面的git clone必须在同一行才能生效，表示不下载大文件（小文件、大文件的区分依据是有没有使用git lfs）。此时git会下载所有的小文件，比如tokenizer.json ，但是对于git lfs存储的大文件，只会存储一个文本的pointer file.

随记|git拉取chatglm3模型文件+源码下载

04-16

807

从github上找到模型对应的源码进行下载。3、切换到chatglm2-6b目录下载大模型。1、在 Git 仓库中为仓库初始化相关配置。2、clone代码（魔塔的地址）比较耗时找个网络好的环境下载。

Git爆火大模型教程：llm-action：让天下没有难学的大模型，大模型入门到精通，收藏这篇就足够了！

最新发布

huang9604的博客

09-18

995

使用Git下载大语言模型

Python，数据分析，机器学习，深度学习

09-27

8470

在下载Huggingface和ModelScope上面的大语言预训练模型的时候，经常会因为网页无法访问或者文件太大无法下载的情况，是大家常常比较苦恼的事情，下面给出用Git下载模型到本地的方法，可以轻松解决上述问题。

用git下载hugging face上的大模型，以Qwen1.5-7B为例

tortorish的博客

06-04

1740

用git下载hugging face上的大模型，以Qwen1.5-7B为例

git 下载AI模型

jjsnc

07-14

169

断点续传下载新增 download_chatglm3.py 文件。方式一：使用 git-lfs。步骤1：安装 git-lfs。或者 ~/.zshrc。

rpm一键安装git lfs，下载大模型

05-20

断点续传下载大模型文件等大文件

ubuntu使用git clone克隆/下载github模型速度慢的解决方案

01-06

使用在linux操作系统上使用git clone下载github上模型速度慢，多数是因为网不好。提供了两种方法，可以同时使用。方法：先刷hosts 1. 命令行输入下列代码，找到 github.global.ssl.fastly.Net对应的Address，记录 ...

通过clone的方式，下载huggingface中的大模型（git lfs install）

qq_40600379的博客

07-30

2万+

3、再git clone https://huggingface.co/THUDM/chatglm2-6b，在linux可以正常，但是window如果出现了下面的报错，则需要进入chatglm2-6b的目录。2、点击【Clone repository】，在命令行中，输入【git lfs install】（安装了这个，才会下载大文件，不然图中的.bin文件都是不会被下载的）1、如图：可以手动一个个文件下载，但是那样太慢了，此时，可以点击下图圈起来的地方。

开源大模型（LLM）下载

baidu_20834545的专栏

04-25

1952

开源大语言模型下载、LLM

下载模型

weixin_34396103的博客

04-26

316

caffe的model zoo里面有许多已有的模型，不仅有模型的prototxt，还有训练好的参数，可以下载来做fine tuning https://github.com/BVLC/caffe/wiki/Model-Zoo 下载的方式有以下几种: 1.直接去这个网址下载：http://dl.caffe.berkeleyvision.org/ 2.直接在model zoo（https://gi...

【工程实践】使用git clone 批量下载huggingface模型文件

Dong_ZH的博客

08-31

5377

经常需要下载模型到服务器，使用git clone方法可以快速实现模型下载。

git clone 代码克隆；hugging face 数据、模型下载

qq_31448607的博客

12-28

5815

由于本人使用的是实验室的linux服务器，下载代码的时候会有网络问题，所以本文是基于ssh的方法。

下载安装Git（超详细超简单）

热门推荐

m0_75073812的博客

05-21

7万+

安装git

【deepseek】Ubuntu/centos系统中无法直接git clone下载模型的解决方法（手动下载）

qq_45193872的博客

02-18

1060

无需登录huggingface下载deepseek大模型，无需access token，可断点下载。

如何使用git下载huggingface中的仓库和指定的大型文件

qq_41336083的博客

09-12

1428

有的仓库会放很多checkpoints进去，如果全部下载实在太大了，这时候使用cd进入到你想要下载的位置，再使用以下命令，以下载模型中某个权重为例子。第一步：git clone http://........ 下载整个文件，但是clone会忽略数个G的权重文件。第二步：安装lfs，如果已有lfs则只需要直接git lfs install进行初始化。如果出现中断：git lfs fetch 进行恢复。第三步（2）：直接下载全部。

git fls 下载大模型

02-16

### 使用 Git LFS 下载大型机器学习模型 #### 安装 Git LFS 扩展为了能够使用 Git LFS 功能，首先需要确保已正确安装 `git-lfs` 工具。如果遇到无法找到包的情况，在 CentOS 系统上可以按照以下方法解决：对于基于 Debian/Ubuntu 的 Linux 发行版，可以通过更新软件源并安装来解决问题： ```bash sudo apt-get update && sudo apt-get install git-lfs ``` 而对于基于 RedHat/CentOS 的发行版，则应通过 YUM 来完成安装过程： ```bash sudo yum install git-lfs ``` [^4] #### 初始化 Git LFS 并配置仓库成功安装之后，初始化 Git LFS 设置，并将其集成到本地 Git 仓库中： ```bash git lfs install ``` 这一步骤会设置必要的钩子(hooks)，使得后续操作能自动处理大文件。 #### 克隆含有 LFS 文件的远程仓库当目标是从 Hugging Face 或者其他支持 Git LFS 的平台获取预训练好的机器学习模型时，可以直接克隆对应的项目库： ```bash git clone https://huggingface.co/path/to/model-repo.git cd model-repo ``` 此时，Git 将只拉取指向实际二进制数据的小型指针文件；而真正的大尺寸模型参数则会在首次尝试访问这些资源时按需下载下来[^1]。 #### 更新现有仓库以启用 LFS 版本控制如果你已经在追踪某些大文件但是还没有应用 Git LFS，那么可以在当前工作目录下执行下面这条命令将指定类型的文件迁移到 LFS 中去管理： ```bash git lfs track "*.bin" ``` 这里 `"*.bin"` 是一个例子模式匹配表达式，可以根据实际情况调整为特定路径或扩展名。 #### 解决常见问题有时可能会碰到像 `git: 'lfs' is not a git command.` 这样的错误消息，通常是因为环境变量 PATH 没有包含 Git LFS 可执行文件的位置所致。重新启动终端窗口或者手动加载新的 shell 配置可能有助于修复此问题[^3]。