网站笔记：huggingface model memory calculator

最新推荐文章于 2024-05-23 17:46:09 发布
最新推荐文章于 2024-05-23 17:46:09 发布
阅读量993 收藏 6
点赞数 7
分类专栏： 科研 文章标签： 笔记 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40206371/article/details/139131196
版权

Model Memory Utility - a Hugging Face Space by hf-accelerate

  • 这个工具可以计算在 Hugging Face Hub上托管的大型模型训练和执行推理时所需的vRAM内存量。
  • 模型所需的最低推荐vRAM内存量表示为“最大层”的大小，模型的训练大约是其大小的4倍（针对Adam）。
  • 这些计算的准确性最多相差几个百分点，例如bert-base-cased为413.68 MB，而计算器估计为413.18 MB。
  • 目前，该工具支持所有使用transformers和timm的托管模型。
  • 使用此工具时，输入模型的URL或模型名称来计算内存使用量，选择其来源的框架（“auto”会尝试从模型元数据中检测），以及想使用的精度。

下表格解释了使用Adam训练的具体细节，包括在不同精度下模型训练过程中各阶段的内存需求

UQI-LIUWJ
关注
专栏目录
【AutoGPT】LangChain 快速入门指南（中文版）
程序员光剑
05-25 2万+
虽然聊天模型在底层使用语言模型，但它们公开的接口有点不同：它们公开的不是“文本输入、文本输出”API，而是“聊天消息”作为输入和输出的接口。这与 Memory for LLM 之间的主要区别在于，我们可以将它们保留为自己唯一的内存对象，而不是试图将所有以前的消息压缩成一个字符串。扩展前面的示例，我们可以构造一个 LLMChain，它接受用户输入，使用 PromptTemplate 对其进行格式化，然后将格式化的响应传递给 LLM。这是一种较简单的链类型，但了解它的工作原理将为您处理更复杂的链做好准备。
大模型推理显存需求
最新发布
人工智能曾小健
06-27 1434
根据官方说明，Model Memory Calculator提供的结果与实际显存需求之间的误差通常在50MB以内（例如，对于bert-base-cased模型，实际运行需要的显存为413.68MB，而工具估算的结果为413.18MB）。Memory Calculator是由HuggingFace的Accelerate团队开发的在线工具，用户只需输入HuggingFace平台上的模型链接，工具便能够迅速计算出该模型在运行过程中所需的显存大小，包括进行推理操作以及采用Adam算法进行训练时的显存需求。
计算机内存模型
张花生的博客
09-21 2675
内存模型，英文名Memory Model，他是一个很老的老古董了。他是与计算机硬件有关的一个概念。 CPU和缓存一致性 随着CPU技术的发展，CPU的执行速度越来越快。而由于内存的技术并没有太大的变化，所以从内存中读取和写入数据的过程和CPU的执行速度比起来差距就会越来越大,这就导致CPU每次操作内存都要耗费很多等待时间。 所以，人们想出来了一个好的办法，就是在CPU和内存之间增加高速缓存。...
Glide源码阅读之建造者（builder）模式4总结【MemorySizeCalculator】【GlideExecutor】【PreFillType】【LazyHeaders】
lichong951的专栏
12-29 951
Glide建造者模式的应用解析； 熟练识别组件中设计模式使用变种，一目了然这一堆参数设置和自定义意图 【设计模式】【面试】
Android Glide MemorySizeCalculator计算值,Kotlin
Zhang Phil
08-05 913
在实际的开发中，虽然Glide解决了快速加载图片的问题，但还有一个问题悬而未决：比如用户的头像，往往用户的头像是从服务器端读出的一个普通矩形图片，但是现在的设计一般要求在APP端的用户头像显示成圆形头像，那么此时虽然Glide可以加载，但加载出来的是一个矩形，如果要Glide_android 毛玻璃圆角。Android Glide数据更新及内存缓存、硬盘缓存清理事项Android的Glide在加载图片时候内部默认使用了缓存机制，Glide的缓存机制分为两级，第一级是内存缓存，然后第二级是硬盘缓存。
Hugging News #0918: Hub 加入分类整理功能、科普文本生成中的流式传输
Hugging Face
09-18 108
每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」。本期 Hugging News 有哪些有趣的消息，快来看看吧！????????????Hub 加入分类整理 (Collection) 功能现在你可以把任何你喜欢的模型 / 数据集 / Space 应用等按照自己...
大模型基础知识
weixin_48716366的博客
04-24 1216
目前正在研究大模型方向。现在已经在本部部署了大模型并为公司输出了多个落地项目。如果有兴趣了解大模型的本地部署基础知识可以了解一下这篇文章。
网站笔记：huggingface——can you run it？
qq_40206371的博客
05-23 660
指的是在LoRa微调中，仅有2%的参数是可训练的，其余的参数保持冻结状态。筛选出所有内存容量在选择范围之间的GPU。下拉菜单选择具体的GPU型号。滑动条设置了2%的值。
科研笔记：一些有用的网站整理（更新中）
qq_40206371的博客
07-12 542
1 论文整理网站 整理AI相关领域的一些综述 GitHub - KaiyuanGao/AI-Surveys: 整理AI相关领域的一些综述 时间序列的paper/code汇总 GitHub - qingsongedu/awesome-AI-for-time-series-papers: A professional list of Papers, Tutorials, and Surveys on AI for Time Series in top AI conferences and jo
Java核心技术· 卷二（11版）笔记（第 9-12章）
weixin_43647460的博客
11-16 413
Java平台模块系统是Java 9中引入的一个新特性，它可以更好地管理Java应用程序的依赖关系，提高应用程序的可扩展性和安全性。模块系统可以将Java应用程序的代码组织为独立的模块，每个模块都有自己的接口和实现。模块可以声明自己的依赖关系，并且只会导出需要公开的API，从而减少了依赖项的耦合性和可能出现的命名冲突。同时，模块系统还提供了更好的可见性和访问控制，允许开发人员更好地控制代码的复杂性和安全性。在Java 9的模块系统中，一个模块是一个可以进行依赖管理和版本控制的独立单元。每个模块都有自己的名称、
英文词根词典简化笔记
热门推荐
weixin_45650075的博客
09-29 5万+
文章目录字根 Root字根Aac, acr, acid = sour（酸的）sharp（锐利的）ag, act, ig = to drive（驱使）, to do（做）agon = struggle, 表示“挣扎, 斗争”agr(o), agri = 田地al, ol, ul = to nourish（滋养）alt (haut) = highali, al, alter(ulter, altru) = other 其他的, 变更am(em, im, m) = to love, frendlyambul(am
Android Glide学习笔记
DerWeltraum
03-12 1498
Glide是比较常用的图片加载库，因为我在项目里使用到了，所以会跟EventBus一样参考网上前辈的文章做一个学习笔记。开源库的比较图片加载是 Android 项目中必备的需求，而图片加载的开源库也有很多：有 UniversalImageLoader、Picasso、Fresco、Glide等。 UniversalImageLoader是老牌的图片加载库（我在最初的两个项目里使用的都是它）。但是作者
C#基础笔记
哈哈的博客
02-07 1873
切套类的使用There is no strong convention on using nested classes in C#, but I tend to use them when I need to define a class that is used solely by the outer class or to provide implementations of interfac
使用huggingface 领域数据适配预训练
choose_c的博客
07-22 1077
如果自己有一批数据，想要使用预训练模型再进行领域数据的适配，可以使用huggingface中的run_mlm.py进行训练。 最近在训练的时候遇到一个问题：训练的时候GPU占用上升导致out of memory。 详细问题描述：pytorch 使用 transoformers(version=4.8.2)中 run_mlm.py 进行垂直领域数据适配预训练的时候；GPU显存占用量慢慢上升，但是并不是一直在升，隔几百个step之后会有一个量(1G)的上升并稳...
科研笔记：匿名 github repository
qq_40206371的博客
09-18 5075
Anonymous GitHub (4open.science)
科研笔记：可用数据集整理（ing）
qq_40206371的博客
09-16 3744
查询子数据集西雅图数据的缩小版，只有一个月的数据来自大西雅图地区4条连接的高速公路(I-5、I-405、I-90和SR- 520)上安装的环路检测器。它包含了整个2015年323个传感器站的交通状态数据，每5分钟一次PeMSD3（处理过的版本）包括358个传感器和2018年1月9日至2018年11月30日的流量信息PeMSD4（处理过的版本）描述了旧金山湾区的交通数据。从2018年1月1日到2018年2月28日，共59天，在29条道路上安装了3848个传感器。PeMSD7（处理过的版本）
PhD新生规划知乎、一亩三分地观点摘抄
qq_40206371的博客
08-02 3725
1 thesis (68 封私信 / 80 条消息) 对 PhD 一年级新生有什么建议？ - 知乎 (zhihu.com) 我觉得一个优秀的phd应该是这样的，整个phd期间就发有限的几篇，然后这几篇文章就像沙滩上的脚印一样，围成了一个圈或者一个区域，这个圈是他/她的thesis 然后phd毕业以后，所有人都认可这个圈是你的。如果做教授的话，就招学生把圈里的坑给埋了。如果去工业界，就把这个圈里东西投射到真实世界里。 2 日常安排 说到如何找到适合自己的rountine, 你可以先去网..
iclr 2023 投稿指南
qq_40206371的博客
09-15 3638
ICLR 2023ICLR 2023The planned dates are as follow:Q: Should the appendices be added as a separate PDF or in the same PDF as the main paper?Either is allowed: you can include the appendices at the end of the main pdf after the references, or you can include
报错：import calculator ModuleNotFoundError: No module named 'calculator'
10-17
这个报错的意思是你在导入一个名为 calculator 的模块时出现了错误，因为 Python 找不到这个模块。可能的原因是你没有安装这个模块或者没有将这个模块所在的路径添加到 Python 的搜索路径中。 你可以尝试使用以下命令安装 calculator 模块： ``` pip install calculator ``` 如果你已经安装了这个模块，那么可能是因为你没有将这个模块所在的路径添加到 Python 的搜索路径中。你可以尝试在代码中添加以下语句： ```python import sys sys.path.append('/path/to/calculator') ``` 其中 `/path/to/calculator` 是 calculator 模块所在的路径。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值