git lfs使用（huggingface下载大模型文件）

cv_lhp

已于 2023-10-08 10:52:49 修改

阅读量4.2w

点赞数 64

CC 4.0 BY-SA版权

分类专栏：其他 Python 文章标签： git github git lfs huggingface

于 2023-05-21 03:28:13 首次发布

本文链接：https://blog.csdn.net/flyingluohaipeng/article/details/130788293

文章介绍了如何使用GitLFS工具下载HuggingFace仓库中的大模型文件，如BLOOM，通过设置GIT_LFS_SKIP_SMUDGE环境变量来避免下载不必要的文件，然后使用gitlfspull命令获取特定的大文件。此外，还提供了完整下载仓库和中断后继续下载的命令。

文章目录

- 一. git lfs使用（huggingface下载大模型文件）

一. git lfs使用（huggingface下载大模型文件）

Git LFS:（Large File Storage，解决git大文件存储问题）把音乐、图片、视频等指定的任意文件存在 Git 仓库之外，而在 Git 仓库中用一个占用空间 1KB 不到的文本指针来代替文件的存在,通过把大文件存储在 Git 仓库之外，可以减小 Git 仓库本身的体积，使克隆 Git 仓库的速度加快，也使得 Git 不会因为仓库中充满大文件而损失性能。

1. 安装

Linux安装步骤：

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs
git lfs install

windows安装：

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

cv_lhp

关注关注

64
点赞
踩
196

收藏

觉得还不错? 一键收藏
9
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【Git LFS】huggingface 断点续传

q742971636的博客

10-23

3644

提供的信息是关于如何作为普通用户使用Git LFS（Large File Storage），涵盖了各种Git LFS命令以及它们的解释。该信息还提供了有关这些命令如何工作以及可以与它们一起使用的选项的详细信息。检出Git文件和Git LFS文件的一般建议工作流程包括使用。

git-lfs的安装和使用

最新发布

expfr52039的博客

08-27

560

Git LFS（）是 Git 的扩展，专门用于管理大型文件（如图片、视频、设计文件等），避免 Git 仓库体积过度膨胀。以下是。

Git LFS 介绍和使用指南

weixin_42849849的博客

07-11

662

Git Large File Storage (Git LFS) 是 Git 的一个扩展，用于更有效地处理大型文件。它通过用指针替换大文件来工作，实际文件内容存储在远程服务器上。

Git LFS是什么？

我的博客大多数都是关于Python、C++、数据库以及其他相关类型的文章！

03-03

5159

Git LFS（LargeFileStorage，大型文件存储）是一个相对于GitHub高级开发者非常重要的东西。当一个项目的最大文件超过128MB，那么Git就会报错。这时候，就要请出我们的Git LFS了。那么如何在Git中使用Git LFS服务呢？那么首先就要安装这个服务。

git大文件管理工具：git-lfs

采菊东篱下，Python满乾坤！

08-10

4783

Git Large File Storage（LFS）是Git的一个扩展，它允许向Git仓库存储和管理大型二进制文件。对于软件开发中使用大型的图像、音频文件等，Git LFS非常有用。原理：不同于git每次保存diff，对于git来说，如果是模型或者一些设计大文件，改变一点，对于仓库来说会增加很大的体积，不一会就能几个G。对于git lfs来说，在使用git lfs track命令后，git push的时候，git lfs会截取要管理的大文件，并将其传至git lfs的服务器中，从而减小仓库的体积。

huggingface学习 | 云服务器使用git-lfs下载huggingface上的模型文件

weixin_47748259的博客

01-16

3262

点击clone repository，可以发现提供了两种下载方式，方式一为HTTPS，代码如下，然而国内使用代理访问的时候采用这种方式会报错：Failed to connect to huggingface.co port 443 after 127293 ms: Couldn’t connect to server。如果直接输入：git clone git@hf.co:runwayml/stable-diffusion-inpainting，会报错，需要配置git ssh。就可以顺利完成下载了。

使用git lfs向huggingface提交较大的数据或者权重

勿忘初心,方得始终

11-06

843

"video/*.mp4"是需要根据的目录地址和类型。在我的项目中有一个video文件目录存放这xxx.mp4数据。这将创建或更新一个名为 .gitattributes 的文件，指定哪些文件由 Git LFS 管理。

【huggingface网络问题】用 Git LFS（Large File Storage）解决huggingface大文件下载的问题

neko的博客

06-27

1094

使用 Git LFS（Large File Storage）可以解决大文件下载的问题。以下是如何使用 Git LFS 手动下载 Hugging Face 模型文件的步骤

GIT LFS 大文件

02-19

git大文件上传插件，绿化版本，免安装，方便下载使用.

使用Git LFS下载大文件到本地(Linux)

K_Kelly_的博客

07-17

4045

很多时候我们想要从huggingface中下载模型文件,若直接clone往往下载不完全.下载文件后可通过以下命令来查看该文件各个文件的大小ls -lh如下图，第一行total显示整个目录的文件大小，下面即为每个文件的大小尤其是对于GB级文件而言,很多时候都无法完全clone,且由于直接git会不稳定,因此引出Git LFS.Git LFS是一个GitHub开发的Git扩展,主要用于实现对大文件的支持。

Git LFS的使用

chengde6896383的专栏

01-02

1461

https://www.jianshu.com/p/493b81544f80 Git LFS 是 Github 开发的一个 Git 的扩展，用于实现 Git 对大文件的支持 git-lfs 使用目的在游戏开发过程中,设计资源占用了很大一部分空间. 像png,psd等文件是二进制(blob)的,体积也很庞大. 但git的diff/patch等是基于文件行的.对于二进制文件来说. ...

Git学习之LFS 如何下载git的大文件

12-01

1718

安装 homebrew。

git lfs下载大文件限额

weixin_44259058的博客

04-23

787

才发现下载的文件大小为1kb，并且拿到的根本不是模型文件，而是一个 Git LFS（Large File Storage）占位符文本文件，它只记录了文件的元信息（如 hash 值），并不包含模型数据本身。因为GitHub 上有些大型 .pt 文件（几百 MB 甚至更大）会被托管到 Git LFS，普通 git clone 或右键“另存为”操作不会下载真实文件，只会下载一个占位符。GPT告诉我：你的 pt 文件不是权重文件，而是模型整体保存（或根本不是 PyTorch 文件）。1、（windows）下载。

Git-lfs:Git Large File Storage大型文件下载操作——以CREMA-D数据集为例

xsddys的博客

02-03

1079

Git-lfs:Git Large File Storage大型文件下载操作——以CREMA-D数据集为例。

如何下载github上用git-lfs工具下载的大文件

weixin_42601608的博客

02-12

4863

要下载 GitHub 上使用 Git LFS 工具存储的大文件，您可以进行以下步骤：安装 Git LFS：如果您的系统上没有安装 Git LFS，请先安装它。可以通过终端或命令行进行安装。克隆存储库：使用以下命令克隆项目存储库到本地： git clone https://github.com/user/repo.git 下载大文件：进入存储库目录，并使用以下命令下载大文件： gi...

Git LFS拉取大文件

weixin_38650077的博客

05-13

4304

当你使用Git LFS来管理大文件时，拉取包含这些大文件的仓库会稍微有些不同，但大部分过程自动化，用户体验类似于正常的Git操作。

git lfs huggingface下载

07-27

要使用Git LFS下载Huggingface的大模型文件，可以按照以下步骤进行操作： 1. 首先，确保你已经安装了Git LFS。你可以使用命令`git lfs install`来安装Git LFS。 2. 接下来，使用`git lfs clone`命令来克隆...