通过clone的方式，下载huggingface中的大模型（git lfs install）

已于 2023-07-30 14:50:47 修改
阅读量1.1w 收藏 23
点赞数 17
分类专栏： AIGC 文章标签： git
于 2023-07-30 13:49:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40600379/article/details/132006217
版权

1、如图：可以手动一个个文件下载，但是那样太慢了，此时，可以点击下图圈起来的地方。
2、点击【Clone repository】，在命令行中，输入【git lfs install】（安装了这个，才会下载大文件，不然图中的.bin文件都是不会被下载的）

git lfs install
git clone https://huggingface.co/THUDM/chatglm2-6b

在这里插入图片描述
在这里插入图片描述
3、再git clone https://huggingface.co/THUDM/chatglm2-6b，在linux可以正常，但是window如果出现了下面的报错，则需要进入chatglm2-6b的目录
在这里插入图片描述
4、在chatglm2-6b目录，执行git lfs pull，可以看到已经开始正常的下载了
在这里插入图片描述在这里插入图片描述

整理不易，点个赞吧！

整理不易，点个赞吧！

整理不易，点个赞吧！

菜鸟分享录
关注
  • 17
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
专栏目录
huggingface无法下载模型的实战代码
herosunly的博客
10-11 4万+
本文主要介绍了huggingface无法下载模型的实战代码，希望能对学习大模型的同学们有所帮助。 文章目录 1. 背景 2. 实战代码
数据集下载渠道00000
10-29
用户可以通过官网数据集列中选择想要下载的数据，并按照相应的下载方式进行下载。 3. 阿里巴巴 datahub： 阿里巴巴 datahub 是一个数据管理平台，提供了大量的数据集供用户下载。用户可以通过官网下载相应的数据集...
mclone：mclone-麻麻再也不用担心拉取GitHub代码慢了
02-03
麦克隆 体验飞一般的clone速度 对比 git克隆 git mclone 限制条件 仓库大小（仅代理）： <500M LFS支持：未知 使用 git clone换成git mclone ，完事 安装 视窗 命令 powershell Invoke-[removed]New-Object Net.WebClient).DownloadString( \" https://gitee.com/liesauer/mclone/raw/v1.5.1/script/install.ps1 \" ) 电源外壳 Invoke-[removed]New-Object Net.WebClien
lfs-canvas-syllabus:一个Web应用程序，用于从Canvas中提取课程大纲（HTML和PDF格式）并显示它
05-22
LFS-帆布课程大纲 此应用程序从“画布”中提取教学大纲，确定它是指向PDF还是“画布页面”的链接，下载该教学大纲，并生成未指定教学大纲的所有课程（带有教师姓名）的列表。 入门 这些说明将为您提供在本地计算机上运行并运行的项目的副本，以与您自己的API令牌和Canvas域一起使用。 先决条件 安装。 安装 。 安装与设定 首先，克隆此仓库。 git clone https://github.com/UBC-LFS/lfs-canvas-syllabus.git 然后cd进入仓库。 cd lfs-canvas-syllabus 运行安装脚本。 npm install （如果看到babel-node: command not found ，则您错过了此步骤。） 创建一个.env文件。 touch .env 。 您将在此处指定URL和令牌，如下所示。 不要添加引号。 如果要在生产环境之外
【实战教程】linux系统下载huggingface大模型教程
weixin_36488653的博客
04-24 694
下载大模型
git 下载大模型
zhanghaoliang01的博客
11-10 97
yum install git-lfs git lfs install git clone https://huggingface.co/openai/clip-vit-large-patch14 git clone https://huggingface.co/facebook/opt-1.3b
git lfs使用（huggingface下载大模型文件）
子燕若水的博客
04-06 1361
最近在看BLOOM，但是Huggingface的仓库里除了我想要的pytoch_model_xxxxx.bin,放了一些别的格式的checkpoints，全部下载的话太大了，而且很慢很慢。需要注意，GIT_LFS_SKIP_SMUDGE=1和后面的git clone必须在同一行才能生效，表示不下载大文件（小文件、大文件的区分依据是有没有使用git lfs）。此时git会下载所有的小文件，比如tokenizer.json ，但是对于git lfs存储的大文件，只会存储一个文本的pointer file.
使用Git下载大语言模型
Python，数据分析，机器学习，深度学习
09-27 4798
在下载Huggingface和ModelScope上面的大语言预训练模型的时候，经常会因为网页无法访问或者文件太大无法下载的情况，是大家常常比较苦恼的事情，下面给出用Git下载模型到本地的方法，可以轻松解决上述问题。
【工程实践】使用git clone 批量下载huggingface模型文件
Dong_ZH的博客
08-31 3937
经常需要下载模型到服务器，使用git clone方法可以快速实现模型下载。
git clone 代码克隆；hugging face 数据、模型下载
qq_31448607的博客
12-28 2426
由于本人使用的是实验室的linux服务器，下载代码的时候会有网络问题，所以本文是基于ssh的方法。
Git LFS的使用
chengde6896383的专栏
01-02 1285
https://www.jianshu.com/p/493b81544f80 Git LFS 是 Github 开发的一个 Git 的扩展，用于实现 Git 对大文件的支持   git-lfs 使用目的 在游戏开发过程中,设计资源占用了很大一部分空间. 像png,psd等文件是二进制(blob)的,体积也很庞大. 但git的diff/patch等是基于文件行的.对于二进制文件来说. ...
huggingface学习 | 云服务器使用git-lfs下载huggingface上的模型文件
weixin_47748259的博客
01-16 2242
点击clone repository，可以发现提供了两种下载方式，方式一为HTTPS，代码如下，然而国内使用代理访问的时候采用这种方式会报错：Failed to connect to huggingface.co port 443 after 127293 ms: Couldn’t connect to server。如果直接输入：git clone git@hf.co:runwayml/stable-diffusion-inpainting，会报错，需要配置git ssh。就可以顺利完成下载了。
modelzoo:机器学习模型的集合，用于自动驾驶应用
05-03
汽车模型动物园 机器学习模型的集合，用于自动驾驶...$ git lfs install $ git lfs pull 贡献模型 资料夹结构 动物园是根据以下文件夹结构进行组织的： autoware-model-zoo/ < task> / < sub> / < model> / < model
zCore:在Rust中重新实现锆石微内核
04-29
:party_popper:入门环境： 克隆回购并拉出预制的紫红色图像： git clone https://github.com/rcore-os/zCore --recursivecd zCoregit lfs installgit lfs pull 对于中国用户，您可以尝试使用一面镜子： git clone ...
用git下载hugging face上的大模型，以Qwen1.5-7B为例
最新发布
tortorish的博客
06-04 326
用git下载hugging face上的大模型，以Qwen1.5-7B为例
使用Git LFS从Hugging Face下载大型语言模型
nulifancuoAI的博客
10-25 444
在AI领域，大型语言模型如BERT、GPT-3等已经成为一个热门话题。但如何高效地下载这些模型，特别是在网络环境不稳定的情况下，是许多开发者面临的问题。Hugging Face作为主流的模型库，提供了大量预训练模型，但这些模型的大尺寸使得直接下载可能会遇到困难。Git LFS（Large File Storage）作为Git的一个扩展，为我们提供了一个解决方案。接下来，我们将深入探讨如何使用Git LFS从Hugging Face下载模型，并提供一些常用命令。
克隆（/下载）Hugging Face上开源模型的全部文件
weixin_47420447的博客
10-09 1025
克隆（/下载）Hugging Face上开源模型的全部文件
Git学习之LFS 如何下载git的大文件
12-01 1212
安装 homebrew。
通过git clone批量下载huggingface模型和数据集
热门推荐
weixin_44034841的博客
07-24 1万+
想要下载huggingface的模型，却发现只能一个个文件下载非常不方便，又或者官方提供的api不好用或者下载不下来，这里提供一个通过git clone一次性下载整个数据集/模型下来的高效方法。
git lfs huggingface下载
07-27
要使用Git LFS下载Huggingface的大模型文件，可以按照以下步骤进行操作： 1. 首先，确保你已经安装了Git LFS。你可以使用命令`git lfs install`来安装Git LFS。 2. 接下来，使用`git lfs clone`命令来克隆Huggingface的仓库，并指定要下载的文件的URL。例如，使用以下命令来下载模型文件： ``` git lfs clone https://huggingface.co/bigscience/bloom-7b1 ``` 3. 如果你只需要下载特定的文件，而不是全部文件，你可以使用Git LFS的`pull --include`命令。首先，使用以下命令下载仓库的小文件： ``` git lfs install git clone https://huggingface.co/bigscience/bloom-7b1 ``` 4. 然后，手动拉取需要的大文件。你可以使用以下命令： ``` git lfs pull --include <file_path> ``` 这样，你就可以使用Git LFS来下载Huggingface的大模型文件了。希望对你有帮助！\[1\]\[2\]\[3\] #### 引用[.reference_title] - *1* *2* *3* [git lfs使用（huggingface下载大模型文件）](https://blog.csdn.net/flyingluohaipeng/article/details/130788293)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值