通过谷歌colab压缩下载 huggingface大模型

已于 2024-08-18 12:49:29 修改
阅读量250 收藏
点赞数 2
分类专栏： 日常 文章标签： bash
于 2024-08-18 00:04:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_50465499/article/details/141289165
版权

问题：
当我们直接使用命令下载huggingface大模型时，如git clone https://huggingface.co/THUDM/chatglm-6b，可能会出现fatal: unable to access 'https://huggingface.co/THUDM/chatglm-6b/': Failed to connect to huggingface.co port 443: Connection timed out，而一个一个下载文件又太麻烦，因此我们选择通过谷歌colab压缩下载 huggingface大模型。
操作：

  1. 去colab新建一个python笔记本
  2. 下载huggingface大模型到colab中
git clone https://huggingface.co/THUDM/chatglm-6b
  1. 将文件夹压缩，选择xz的压缩方式，xz是一种压缩文件格式，采用LZMA SDK压缩，目标文件较gzip压缩文件(.gz或·tgz)小30%，较·bz2小15%。
tar -zcvf /content/chatglm-6b.tar.xz /content/chatglm-6b

4.下载到本地
5.压缩

tar -xvf chatglm-6b.tar.xz
小白难
关注
专栏目录
LLM大模型能力与企业业务系统集成技术方案
AI天才研究院
06-28 223
随着人工智能技术的迅猛发展，大语言模型（Large Language Models, LLMs）如GPT-4、BERT等在自然语言处理领域取得了显著的成果。这些模型通过在海量数据上进行预训练，具备了强大的语言理解和生成能力。然而，如何将这些大模型的能力与企业业务系统进行有效集成，充分发挥其价值，成为了一个亟待解决的问题。LLM与企业业务系统的集成，本质上是将预训练的大语言模型通过API接口嵌入到业务系统中，使其能够处理业务请求，提供智能化的语言处理能力。
使用colab快速下载huggingface的大模型文件
qq_43587443的博客
09-06 882
第三步，指定需要下载的文件list，执行下载操作，在这里我只下载了几个比较大的参数文件，默认下载路径为/content/download/repo_id，如/content/download/hfl---llama-3-chinese-8b-instruct-v3，在colab的文件夹列表中可以找到。近期在学习大模型的微调与部署应用，需要再huggingface下载预训练好的模型参数文件，这时候问题来了！第二步，导入包，定义函数，并从huggingface获取文件列表，代码参考了。首先我们打开colab，
拷贝 hugging face 仓库到 colab
weixin_40994552的博客
01-16 814
【代码】拷贝 hugging face 仓库到 colab。
google colab上如何下载bert相关模型
Hekena的博客
02-09 1023
原文链接：https://cloud.tencent.com/developer/article/1804125。这样我们就不用下载在本地之后上传到colab中，而且直接在colab上下载的速度极快。pytorch版本的模型。首先要知道模型的地址。
如何在colab或者linux上下载onedrive的文件
qq_60943902的博客
01-11 1833
4.将复制后的命令粘贴到colab中，colab记得加!,之后粘贴到Linux的命令行里，最后在后面补加一句 --output file.extension ,其中 file.extension 是想要保存的文件名。3.右键点击所示文件，记得取消下载，之后选择copy，再点击copy as curl。
如何将 huggingface上的模型文件下载到本地
热门推荐
m0_73222051的博客
10-24 1万+
✏️评论，你的意见是我进步的财富！
Colab部署+微调ChatGLM
i_want_money111的博客
09-06 879
只需要在加载模型的位置修改成微调后的路径即可 将 evaluate.sh 中的 CHECKPOINT 更改为训练时保存的 checkpoint 名称，运行以下指令进行模型推理和评测： 改这一行即可：--model_name_or_path ./output/$CHECKPOINT/checkpoint-3000。nohup 是 no hung up的缩写，意思是不挂断。衣款式#抽绳", "summary": "这件衬衫的款式非常的宽松，利落的线条可以很好的隐藏身材上的小缺点，穿在身上有着很好的显瘦效果。
开源大语言模型完整列表
2401_85325726的博客
08-10 1194
Large Language Model (LLM) 即大规模语言模型，是一种基于深度学习的自然语言处理模型，它能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。所谓"语言模型"，就是只用来处理语言文字（或者符号体系）的 AI 模型，发现其中的规律，可以根据提示 (prompt)，自动生成符合这些规律的内容。LLM 通常基于神经网络模型，使用大规模的语料库进行训练，比如使用互联网上的海量文本数据。
人工智能-开源大语言模型完整列表
软件开发实战项目分享
06-11 558
Large Language Model (LLM) 即大规模语言模型，是一种基于深度学习的自然语言处理模型，它能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。所谓"语言模型"，就是只用来处理语言文字（或者符号体系）的 AI 模型，发现其中的规律，可以根据提示 (prompt)，自动生成符合这些规律的内容。LLM 通常基于神经网络模型，使用大规模的语料库进行训练，比如使用互联网上的海量文本数据。
多模态大模型：技术原理与实战 全球多模态大模型介绍
AI天才研究院
06-11 1040
关键词：多模态大模型、深度学习、计算机视觉、自然语言处理、跨模态学习、迁移学习、人工智能随着人工智能技术的飞速发展，多模态大模型已经成为了当前AI领域最热门的研究方向之一。多模态大模型能够同时处理和理解多种类型的数据，如文本、图像、音频和视频等，这为AI系统在复杂场景下的应用提供了更加强大和灵活的能力。本文将深入探讨多模态大模型的技术原理，介绍其实战应用，并对全球主要的多模态大模型进行全面的介绍和比较。
Transformer大模型实战 DistilBERT 模型——BERT模型的知识蒸馏版本
AI天才研究院
07-03 821
在自然语言处理（NLP）领域，预训练模型如BERT、GPT等展示了强大的文本理解和生成能力，但在实际部署时面临着巨大的计算和存储成本。尤其对于需要在资源受限设备上运行的应用场景，如何在保持高性能的同时降低模型大小成为了一个关键问题。BERT（Bidirectional Encoder Representations from Transformers）是一个多层双向Transformer模型，它能够学习到上下文相关的词语表示，并且在多个下游任务上取得了卓越的效果。Teacher-Student架构。
gpt2模型_用huggingface微调非英语gpt 2模型
weixin_26630173的博客
09-03 3622
gpt2模型Originally published at https://www.philschmid.de on September 6, 2020. 最初于 2020年9月6日 在 https://www.philschmid.de 上 发布 。 介绍 (introduction) Unless you’re living under a rock, you probably have ...
多模态大模型：技术原理与实战 多模态大模型的主要应用场景
AI天才研究院
05-19 960
随着人工智能技术的快速发展，多模态大模型已经成为了当前AI领域最热门的研究方向之一。这些模型能够同时处理和理解多种数据类型，如文本、图像、音频和视频，从而实现更加全面和智能的信息处理能力。多模态大模型的出现不仅推动了人工智能技术的进步，也为各行各业带来了革命性的变革。在本文中，我们将深入探讨多模态大模型的技术原理，并重点关注其主要应用场景。我们将从理论到实践，全面解析这一前沿技术，帮助读者更好地理解和应用多模态大模型。表示学习：学习不同模态数据的统一表示。注意力机制：捕捉不同模态之间的关键信息。
windows环境在git bash中配置jdk和maven
落墨画雪的博客
10-13 396
推荐去apache官网https://www.oracle.com/下载自己需要的版本，注意需要注册登录，这里给出我常用的版本在文章中，请解压后自行安装，可以自行设置安装目录，默认会安装在c盘的/c/Program Files/Java目录下。
bash之基本运算符
qq_69900890的博客
10-15 615
原生 bash 不支持简单的数学运算，但是可以通过其他命令来实现，例如 awk 和 expr，expr 最常用。expr 是一款表达式计算工具，使用它能完成表达式的求值操作。注意使用的反引号（esc 键下边）表达式和运算符之间要有空格 $a + $b 写成 $a+$b 不行条件表达式要放在方括号之间，并且要有空格 [ $a == $b ] 写成 [$a==$b] 不行乘号（*）前边必须加反斜杠（\)才能实现乘法运算。
windows上的git bash中会将~设为哪个目录？
qq_45993770的博客
10-16 538
在 Windows 的 Git Bash 中，通常指向C:\Users\你的用户名目录，除非通过设置HOME环境变量进行了自定义。你可以通过echo ~和echo $HOME命令来确认和验证当前所指向的目录。
bash之流程控制
qq_69900890的博客
10-16 984
和 Java、PHP 等语言不一样，sh 的流程控制不可为空在 sh/bash 里可不能这么写，如果 else 分支没有语句执行，就不要写这个 else。
卡通风格化魔法术技能粒子特效 ：Toon Projectiles 2 1.0
最新发布
10-19
这款卡通射击特效资源包提供了 15 种独特的射击物、命中效果和闪光效果，风格统一且易于与您的项目集成。它默认支持 Unity 的内置渲染器，并且兼容 HDRP 和 URP 渲染管线。如果您拥有 Hovl Studio 的其他资源，该包将免费提供。所有效果均在各平台兼容，并且可以通过标准尺寸值轻松调整命中效果的大小。需要注意的是，调整射击物大小时，可能需要修改轨迹长度和按距离生成的速率。 该资源还包含了一个演示场景射击脚本，方便用户快速了解如何使用这些特效。该资源包还与 InfinityPBR 的 Projectile Factory 插件兼容，可以进一步增强您的射击游戏效果。 需要注意的是，推广媒体中使用的后处理效果 "Bloom" 并非资源包自带，建议用户在下载资源包之前，先行从 Unity 包管理器下载 "Post Processing Stack"。HDRP 和 URP 渲染管线的用户可以直接利用内置的 "Volume" 组件中的 "Bloom" 效果。
谷歌Colab上训练YOLOv5模型指南
通过Colab，用户可以无缝访问Google Drive存储空间，方便数据上传和下载，而且可以免费使用GPU和TPU，这对于需要大量计算资源的深度学习任务而言是个巨大的优势。 接下来，教程进入YOLOv5模型的训练环节。YOLOv5是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值