Adam-mini: Use Fewer Learning Rates To Gain More

于 2024-10-04 10:30:00 发布
阅读量1 收藏
点赞数
分类专栏： LLM Daily 文章标签： 语言模型 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/142612296
版权

本文是LLM系列文章，针对《Adam-mini: Use Fewer Learning Rates To Gain More》的翻译。

Adam-mini：使用更少的学习率来获得更多

摘要

我们提出了Adam mini，这是一种优化器，其性能与AdamW相当或更好，内存占用减少了45%至50%。Adam mini通过减少Adam中的学习率资源（即 1 / v 1/\sqrt v 1/

了解本专栏 订阅专栏 解锁全文 超级会员免费看
UnknownBody
关注
专栏目录
订阅专栏
2024年6月25日Arxiv机器学习相关论文
数智笔记
06-25 887
原标题作者机构: 德·格鲁伊特期刊摘要: 数学模型对计量学领域至关重要，对测量结果的推导和从测量数据中计算不确定性起着关键作用，这些都是基于对测量过程的理解。这些模型通常表示被测量数量与所有其他相关数量之间的相关性。这些关系用于构建测量系统，能够解释测量数据以生成关于测量系统本身的结论和预测。经典模型通常是基于基本物理原理的分析模型。然而，数字技术的兴起、广泛的传感器网络和高性能计算硬件导致了向数据驱动方法的转变。
Adam有了mini版：内存占用少一半，吞吐量提升50%
Paper weekly
07-07 58
©作者 |panda来源|机器之心在训练大型语言模型（LLM）时，Adam(W) 基本上已经成为了人们默认使用的优化器。Adam 尽管性能优异，但使用成本很高。具体来说，Adam 需要内存来保存其优化器状态：一阶动量 m 和二阶动量 v^2。这总共需要模型大小至少 2 倍的内存。这样的内存消耗已经成为了 LLM 训练的一大主要负担。举个例子，要训练一个 7B 模型，只是 Adam 就需要每张...
科研篇一：NeurIPS2019 分类整理-对抗样本&Meta-Learning
weixin_38316806的博客
09-08 6237
文末获取paper整理资源，NIPS2019对抗样本&Meta-Learning
END-TO-END OPTIMIZED IMAGE COMPRESSION论文阅读
Aure219的博客
07-04 2997
我们描述了一种图像压缩方法，包括非线性分析变换、均匀量化器和非线性合成变换。这些变换是在卷积线性滤波器和非线性激活函数的三个连续阶段中构造的。与大多数卷积神经网络不同，受用于模拟生物神经元的网络的启发，选择联合非线性来实现一种局部增益控制形式。使用随机梯度下降的变体，我们在训练图像数据库上联合优化整个模型的率失真性能，引入量化器产生的不连续损失函数的连续代理。在某些条件下，松弛损失函数可以解释为由变分自动编码器实现的生成模型的对数似然。
Deep Cosine Metric Learning for Person Re-Identification
墨飞的博客
05-02 805
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图插入Mermaid流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如
对抗样本方向（Adversarial Examples）2018-2020年最新论文调研
huitailangyz的博客
06-15 1万+
调研范围 2018NIPS、2019NIPS、2018ECCV、2019ICCV、2019CVPR、2020CVPR、2019ICML、2019ICLR、2020ICLR 2018NIPS Contamination Attacks and Mitigation in Multi-Party Machine Learning（防御） 作者：Jamie Hayes(Univeristy College London) Olga Ohrimenko(Microsoft Research) 摘要：Machine
Paper：大模型之《Pre-Trained Models: Past, Present and Future大规模预训练模型的发展历史、最新现状和未来发展三个方向》翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
12-12 8451
Paper：大模型之《Pre-Trained Models: Past, Present and Future大规模预训练模型的发展历史、最新现状和未来发展三个方向》翻译与解读目录Paper：《Pre-Trained Models: Past, Present and Future大规模预训练模型的发展历史、最新现状和未来发展三个方向》翻译与解读Abstract1 Introduction简介2 Background背景2.1 Transfer Learning and Supervised Pre-Tra
2020年 ICLR 国际会议最终接受论文(poster-paper)列表(一)
yinizhilianlove的博客
02-21 1万+
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2020-01-22     2020年的ICLR会议将于今年的4月26日-4月30日在Millennium Hall, Addis Ababa ETHIOPIA（埃塞俄比亚首都亚的斯亚贝巴 千禧大厅）举行。     2020年ICLR会议（Eighth International Con...
A ConvNet for the 2020s
Le0v1n 的博客
05-31 2194
A ConvNet for the 2020s
【2011-2016】 NIPS汇总 - Advances in Neural Information Processing Systems
Testing的博客
10-02 1万+
Advances in Neural Information Processing Systems 24 (NIPS 2011) The papers below appear in Advances in Neural Information Processing Systems 24 edited by J. Shawe-Taylor and R.S. Zemel and P.L.
乔布斯传中的英文词频统计
yujiaao的专栏
09-30 3万+
0: 1 0.9: 1 0006939: 1 03.html: 1 1: 49 1,000: 9 1,200: 1 1,299: 1 1,300: 1 1,500: 3 1,995: 3 1-866-248-3049: 1 1.0: 4 1.04: 1 1.2: 3 1.3: 2 1.5: 1 1.7: 2 1.79: 1 1.8-inch: 3 10: 6...
INTRODUCTION TO THE LAW OF VIRTUAL AND AUGMENTED REALITY
weixin_42786150的博客
02-15 3684
PART I INTRODUCTION TO THE LAW OF VIRTUAL AND AUGMENTED REALITY 1. The law of virtual reality and increasingly smart virtual avatars Woodrow Barfield and Alexander Williams 1. INTRODUCTION Advances in virtual and augmented reality technology, a
The basics of face detection and eye detection using the Haar Feature-based Cascade Classifiers
weixin_41697507的博客
09-18 451
Goal In this tutorial, We will learn how the Haar cascade object detection works. We will see the basics of face detection and eye detection using the Haar Feature-based Cascade Classifiers We will use the cv::CascadeClassifier class to detect objects in a
计算单词出现的频次，并按频次从高到低排序
热门推荐
moreharder的博客
11-15 3万+
import collections f=open("D:\python\Walden.txt","r").read() f=f.replace(',','').replace('.','').replace('"','').replace(':','') f=f.split() r=collections.Counter(f) print(r) Counter({'the': 6937, 'and': 4547, 'of': 3472, 'to': 3058, 'a': 2966, 'I': 2
扩散模型（2）--1
m0_63860007的博客
09-29 860
生成模型通过学习并建模输入数据的分布，从而采集生成新的样木，该模型广泛运用于图片视频生成、文本生成和药物分子生成。扩散模型是一类概率生成模型，扩散模型通过向数据中逐步。
深度学习-----------------机器翻译与数据集
最新发布
Einstein·Jun
10-03 315
绘制每个文本序列所包含的标记数量的直方图。
大模型~合集5
whaosoft~aiotの开发板商城
10-02 1288
FLock 的机制设计受到了证明权益（PoS）区块链共识机制和桌面游戏《The Resistance》（一种角色扮演类游戏，该游戏的一个变种叫阿瓦隆）的启发。《The Resistance》游戏则通过投票机制，每轮游戏中玩家独立推理并投票，从而实现全局共识。《The Resistance》有两个不匹配的竞争方，其中较大的一方被称为抵抗力量，另一方被称为间谍。在《The Resistance》中，有一个投票机制，在每一轮中，每个玩家进行独立推理并为一个玩家投票，得票最多的玩家将被视为「间谍」并被踢出游戏。
Linux嵌入式有发展吗，以及对uboot，kernel，rootfs的领悟
rjszcb的博客
09-30 688
上一份工作是2022,11—2023，11年底，汽车公司，底层修修改改，编译镜像，修改后，客户给东西，重新编译给他，客制化配置启动参数，环境，支持应用部门，不懂怎么使用某些驱动。uboot到底是干嘛的，想想，emmc的镜像文件是怎么被读到ddr的，emmc为啥可以被分区，烧录镜像，tftp网络命令为啥可以运行，启动设备时，为啥lcd可以看到图像，kernel还没启动，怎么出图像的。不管做应用开发，驱动开发也好，知道，系统原理，驱动框架，进程管理调度，内核竞争，信号，中断，锁，这些就够了。
towards fewer annotations: active learning via region impurity and predictio
01-05
近年来，随着深度学习在计算机视觉领域的广泛应用，大规模的数据集和精确的标注已经成为训练有效模型的关键。然而，标注大量数据集是一项繁重且费时的工作，因此如何减少标注数量成为了一个重要的研究方向。 针对这一问题，研究者们提出了一种新的主动学习方法，该方法利用了区域纯度和预测性来减少标注数量。具体而言，该方法通过计算每个区域的纯度，即该区域包含与特定类别相关的样本比例，来确定哪些区域需要更多的标注。在标注数据时，模型将根据已标注数据的预测结果为未标注数据进行分类，并根据分类结果来选择需要标注的样本。 通过这种方法，研究者们成功地减少了对大规模数据集的标注数量，同时保持了模型的准确性和鲁棒性。这一方法不仅可以应用于计算机视觉领域，还可以推广到其他领域，如自然语言处理和医学图像分析。 总的来说，通过利用区域纯度和预测性的信息，研究者们提出的主动学习方法为减少标注数量提供了一种全新的思路，这将极大地降低标注大规模数据集的成本，推动了人工智能技术的发展。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值