使用Git LFS下载大文件到本地(Linux)

最新推荐文章于 2024-06-25 13:51:07 发布
最新推荐文章于 2024-06-25 13:51:07 发布
阅读量3.1k 收藏 4
点赞数 10
文章标签： git
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/K_Kelly_/article/details/131764210
版权
在下载Huggingface的大规模模型文件时，直接clone可能不完整且不稳定。GitLFS是GitHub为支持大文件而开发的Git扩展。安装GitLFS（要求Git版本1.8.5以上）后，可以更有效地下载和管理这些文件。使用`gitlfsinstall`和`gitclone`命令来下载模型。
摘要由CSDN通过智能技术生成

背景

很多时候我们想要从huggingface中下载模型文件,若直接clone往往下载不完全.

下载文件后可通过以下命令来查看该文件各个文件的大小

ls -lh

 

如下图，第一行total显示整个目录的文件大小，下面即为每个文件的大小尤其是对于GB级文件而言,很多时候都无法完全clone,且由于直接git会不稳定,因此引出Git LFS.

Git LFS是一个GitHub开发的Git扩展,主要用于实现对大文件的支持。

安装

Linux

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs
git lfs install

注意：Git 版本不低于 1.8.5

下载模型

git lfs install
git clone https://```

一天只能上一天班
关注
  • 10
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
GIT LFS 大文件
02-19
git大文件上传插件，绿化版本，免安装，方便下载使用.
git lfs下载卡住，没有进度条怎么处理
最新发布
keyboard专栏
07-01 1171
在执行git cloneGit LFS 在下载大型文件时可能会出现卡顿问题。如果仓库中包含大量的 LFS 文件或这些文件非常大，下载可能会需要较长时间。网络连接不稳定或速度较慢也可能导致克隆过程卡住。远程服务器的问题，例如负载过高，也可能导致文件下载缓慢或卡住。
git 大文本上传和下载git-lfs
qq_28723681的博客
06-13 427
git -lfs 安裝
记录一次 linux 大文件下载不下来处理解决办法
azyouyouyou的博客
06-25 487
生产环境上 数据库备份文件比较大 有的时候家里面想用生产环境的数据进行测试 但是文件太大 大于4G 导致下载下来的风险大还很慢，要想办法帮同事解决这个问题。 思路也很简单 借鉴分片上传的思想 将大文件拆分成一个一个小文件
Git 服务器上的 LFS 下载
prinTao的博客
11-12 2424
以llama为例： https://huggingface.co/meta-llama/Llama-2-7b-hf 报错 找国内镜像 1 报错 注意 报错，查看： 因此： 使用，报错： 原因：报错： https://gitee.com/hf-models/Llama-2-7b-hf/tree/mainhttps://blog.shipengx.com/archives/af0e9080.htmlhttps://zhuanlan.zhihu.com/p/350011379
Git学习之LFS 如何下载git的大文件
12-01 1340
安装 homebrew。
git lfs下载指定文件git lfs pull --include=“*.bin“
kewei chen
06-12 2611
【代码】git lfs下载指定文件git lfs pull --include="*.bin"
git lfs使用（huggingface下载大模型文件）
热门推荐
flyingluohaipeng的博客
05-21 2万+
最近在看BLOOM，但是Huggingface的仓库里除了我想要的pytoch_model_xxxxx.bin,放了一些别的格式的checkpoints，全部下载的话太大了，而且很慢很慢。需要注意，GIT_LFS_SKIP_SMUDGE=1和后面的git clone必须在同一行才能生效，表示不下载大文件（小文件、大文件的区分依据是有没有使用git lfs）。此时git会下载所有的小文件，比如tokenizer.json ，但是对于git lfs存储的大文件，只会存储一个文本的pointer file.
如何下载github上用git-lfs工具下载的大文件
weixin_42601608的博客
02-12 4179
要下载 GitHub 上使用 Git LFS 工具存储的大文件，您可以进行以下步骤： 安装 Git LFS：如果您的系统上没有安装 Git LFS，请先安装它。可以通过终端或命令行进行安装。 克隆存储库：使用以下命令克隆项目存储库到本地： git clone https://github.com/user/repo.git 下载大文件：进入存储库目录，并使用以下命令下载大文件： gi...
[工具环境] pip&git lfs下载命令
chenyang2203的博客
05-26 1396
由于模型文件比较大，可以先下载指针文件，然后再下载lfs文件，这样可以实时显示下载速度和进度。中存放，可以通过git lfs进行下载。查看是否安装，如未安装可参考。目前大部分开源大模型都在。
git-lfs-v2.5.1
09-08
mac中追踪大文件工具 用于git大文件上传！
git-lfs-windows-v2.10.0.exe
01-28
在Windows下，如何使用Git LFS上传超过100M的二进制文件到GitHub，Git LFS（Large File Storage） 是 Github 开发的一个 Git 的扩展，用于实现 Git 对大文件的支持， 简单的说，就是如果你想传超过100M的二进制文件到GitHub，你就要用Git LFS！
开源项目-github-git-lfs.zip
09-09
开源项目-github-git-lfs.zip,git大文件存储是用go编写的
Git Clone大文件工具
04-07
当项目很大，有一些很大的文件存在时，clone远程仓库代码可能会失败，clone下来的项目不完整，很可能是因为项目中的文件clone不全，这个工具可以解决这个问题
git-lfs-windows-v2.7.1.exe
08-07
git lfs是为了解决git对二进制文件支持不友好的问题而诞生的 gitlab的新版本已经支持了git lfs,并且默认开启,我使用的是12.6版本 只需要在客户端配置使用即可.
git 下载lfs文件链接
qq_44911284的博客
04-23 101
https://zhuanlan.zhihu.com/p/672616629
如何用Git-LFS上传与下载大文件资源
HITzwx的博客
01-09 1770
4.1假设我们上传的是E盘中第一个文件夹里的文件。3.2点击Your repositories。3.4填写项目名称，描述，并添加README。在Anaconda Prompt输入命令。先进入到上传项目所在的路径，输入命令。这时再查看仓库，进入master分支。3.1进入个人主页，点击右上角头像。打开Anaconda Prompt。注意需要代理，国内网很可能上传失败。项目创建好，复制一下HTTP地址。假设下载到D盘第一个文件夹里。然后输入以下命令即可。
lfs库下载_git-lfs插件
weixin_39845430的博客
12-21 951
Git本地会保存文件所有版本，对于大文件很容易导致仓库体积迅速膨胀为了解决这个问题，Github在2015.4宣布推出Git LFS(Large File Storage)，详见：Announcing Git Large File Storage (LFS)其方法是在Git仓库中内嵌一个类似svn工作原理的仓库，被标记放在LFS的文件在Git仓库中仅存放一个指针执行检出、更新、撤销、切换分支等操作...
如何使用git lfs下载大文件
07-25
要使用Git LFS（Large File Storage）下载大文件，需要按照以下步骤进行操作： 1. 安装Git LFS：首先，你需要在本地计算机上安装Git LFS。可以从Git LFS官方网站（https://git-lfs.github.com/）下载适用于你的操作系统的安装程序，并按照提示进行安装。 2. 初始化Git LFS：在要下载大文件的Git仓库中，运行以下命令来初始化Git LFS： ``` git lfs install ``` 3. 配置Git LFS：使用以下命令来配置要由Git LFS管理的文件类型： ``` git lfs track "file_pattern" ``` 其中，"file_pattern"是要由Git LFS管理的文件类型的通配符模式。例如，如果要管理所有的.mp4文件，可以使用以下命令： ``` git lfs track "*.mp4" ``` 4. 提交更改：将.gitattributes文件添加到Git仓库并提交： ``` git add .gitattributes git commit -m "Enable Git LFS for large files" ``` 5. 下载大文件：现在，你可以使用正常的git命令来克隆或拉取Git仓库，Git LFS将自动下载大文件。例如，使用以下命令克隆仓库： ``` git clone <repository_url> ``` Git LFS会自动下载和管理.gitattributes文件中配置的大文件。 请注意，使用Git LFS下载大文件时，需要确保你的Git LFS服务器配置正确，并且仓库的.gitattributes文件已正确配置。此外，大文件的下载可能需要一些时间，具体取决于文件的大小和你的网络速度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值