番外篇 | 斯坦福提出即插即用二阶优化器Sophia ：相比Adam实现2倍加速，显著节省大语言模型训练成本

最新推荐文章于 2024-07-22 16:54:45 发布
最新推荐文章于 2024-07-22 16:54:45 发布
阅读量363 收藏
点赞数 12
分类专栏： YOLOv8：从入门到实战 文章标签： YOLO 计算机视觉 目标检测 人工智能 自然语言处理 语言模型 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_61961691/article/details/140146676
版权

前言：Hello大家好，我是小哥谈。大模型的预训练成本巨大，优化算法的改进可以加快模型的训练时间并减少训练开销。目前大模型的训练优化器基本上都采用Adam及其变体，并且Adam的应用已经有9个年头了，在模型优化方面相当于霸主的地位。但是能否够在优化器方面提高模型预训练效率呢？今天给大家分享的这篇文章是来自斯坦福的最新研究成果，他们提出了「一种叫Sophia的优化器，相比Adam，它在LLM上能够快2倍，可以大幅降低预训练成本」。🌈

     目录

🚀1.基础概念

🚀2.引入步骤

🚀3.详细方法

🍀🍀步骤1：torch_utils.py文件修改

🍀🍀步骤2：trainer.py文件修改

🍀🍀步骤3：更换优化器

了解本专栏 订阅专栏 解锁全文 超级会员免费看
小哥谈
关注
  • 12
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
2023年5月斯坦福最新成果：首发Yolov8优化，Sophia优化器比Adam快2倍！
一直在水些技术小文
11-11 384
关键词提炼：Yolov8，优化器，Stanford，Sophia，Adam。
Pointnet++改进优化器系列：全网首发Sophia优化器 |即插即用，实现有效涨点
m0_51530640的博客
01-27 344
考虑到语言模型预训练的巨大成本，对优化算法进行重大改进将大大减少训练的时间和成本。Adam及其变体多年来一直是最先进的，而更复杂的二阶(基于hessian的)优化器通常会导致过多的每一步开销。在本文中，我们提出了索菲亚，二阶裁剪随机优化，一个简单的可扩展的二阶优化器，它使用对角线Hessian的轻量级估计作为前置条件。更新是梯度的移动平均值除以估计的Hessian的移动平均值，然后是元素裁剪。该裁剪控制了最坏情况下的更新大小，抑制了非凸性和Hessian沿轨迹快速变化的负面影响。
【论文笔记】Sophia: A Scalable Stochastic Second-order Optimizer for Language Model Pre-training
weixin_50862344的博客
05-31 504
函数：维度映射一阶偏导则为Jacobian矩阵二阶偏导则为Hessian矩阵【参考】
Sophia 优化器：模型训练成本减半的秘密武器
gitblog_00043的博客
06-07 851
Sophia 优化器：模型训练成本减半的秘密武器 项目地址:https://gitcode.com/kyegomez/Sophia 在深度学习的世界中，优化器扮演着至关重要的角色，它们决定了模型训练的效率和效果。今天，我们向您隆重介绍 Sophia——一款革命性的随机二阶优化器，它旨在将语言模型预训练的成本降低一半。通过简单地插拔即可实现，Sophia 可以无缝集成到您的现有训练流程中，并带来显...
Sophia快速入门
j2eedesign的博客
12-05 245
什么是sophia？ Sophia是一个为方便开发基于微信公众平台应用程序的框架，类似于开发web应用的struts。 Sophia将微信用户回复的内容解析成各种指令以便app能识别和响应用户的请求，实现公众帐号的智能回复。   假设 我们假设你会开通微信公众平台的订阅号，并且知道如何设置高级模式-开发者模式。   用Sophia开发Hello world   如何快速...
比Adam快2倍！斯坦福提出Sophia：大模型预训练新优化器，成本减半！
阿木寺的博客
05-26 795
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Transformer】微信交流群鉴于语言模型预训练成本巨大，因而研究者一直在寻找减少训练时间和成本的新方向。Adam 及其变体多年来一直被奉为最先进的优化器，但其会产生过多的开销。本文提出了一种简单的可扩展的二阶优化器 Sophia，在与 Adam 比较中，Sophia 在减少了 50% step 数量的情况...
首发Yolov8优化：Adam该换了！斯坦福最新Sophia优化器，比Adam快2倍 | 2023.5月斯坦福最新成果
05-28 3010
YOLOV8引入斯坦福2023.5月发表的Sophia，优势训练稳定性：与 AdamW 和 Lion 相比，Sophia-H 在预训练中具有更好的稳定性。梯度裁剪 (by norm) 是语言模型预训练中的一项重要技术。在实践中，梯度裁剪触发的频率与训练的稳定性有关 —— 如果梯度被频繁裁剪，迭代可能处于非常不稳定的状态。
Sophia:Emily 编程语言的包管理器 (emilylang.org)
06-03
**Sophia: Emily 编程语言的包管理器** Sophia 是专为 Emily 编程语言设计的一个强大的包管理工具，旨在简化软件开发过程，提高效率，并促进代码重用。Emily 语言，虽然在此未做深入介绍，但可以推测它是一种现代、...
Windows-10-Sophia脚本：用于微调Windows 10的功能强大的PowerShell模块
02-06
Windows 10 Sophia脚本是一个专门设计用于优化和微调Windows 10系统的PowerShell模块。这个工具集合了一系列命令，帮助用户对操作系统进行定制，去除不必要的应用、服务和设置，从而提升性能，增强隐私，并减少潜在...
ALADDIN:用于固定功能加速器的RTL之前的功率性能模型
05-26
如果您在研究中使用阿拉丁，请引用： 阿拉丁：RTL之前的功率加速器仿真器，可实现对定制体系结构的大型设计空间探索，Yakun Sophia Shao，Brandon Reagen，Gu-Yeon Wei和David Brooks，国际计算机体系结构研讨会，...
sophia:用Perl编写的IRC机器人
04-29
注意：虽然不是必需的， cpanm强烈建议使用cpanm以简单的方式构建sophia的Perl依赖项。 除非您不介意在系统目录中安装所有sophia的Perl依赖项，否则还建议使用local :: lib。 换句话说，以根用户身份运行（sudo）。 ...
rust-sophia:Sophia的Rust绑定[http
05-21
2. **处理异步操作**：由于Rust的并发模型基于所有权和借用规则，与C的线程和回调模型有较大差异，因此可能需要对生成的绑定进行调整，以支持Rust的异步编程。这可能涉及到`async/await`语法，以及 tokio 或 async-...
【YOLOv10改进[Conv]】KAN系列 |使用KAGNConv改进C2f + 含全部代码和详细修改方式 + 手撕结构图
静谧、淡雅
07-19 1369
【YOLOv10改进[Conv]】KAN系列 |使用KAGNConv改进C2f + 含全部代码和详细修改方式 + 手撕结构图
ultralytics-yolov8
思维缜密的博客
07-21 522
装pytorch安装用到的包。
【YOLOv10[基础]】热力图可视化实践① | 支持视频热力图 | 密度热力图 | 论文必备
最新发布
静谧、淡雅
07-22 529
热力图可视化实践① | 支持视频热力图 | 密度热力图 | 论文必备
yolov3 ImageNet 预训练权重下载
qq_46396470的博客
07-22 67
记得一定要翻到页面最底下的Assets那里才能看到这些权重。
从零开始：构建基于深度学习的实时跌倒检测系统（UI界面+YOLO代码+数据集）
a871923942的博客
07-22 375
系统主要由前端UI、后端服务器和YOLO模型组成。用户通过UI上传视频，服务器调用YOLO模型进行检测，并将结果返回给用户。| 前端UI | <----> | 后端API | <----> | YOLO检测模型 |YOLO（You Only Look Once）是一种高效的实时目标检测模型。YOLOv5、YOLOv6、YOLOv7、YOLOv8均为其不同版本，提供不同的性能和速度。
sophia优化器 YOLO
07-28
Sophia优化器是一种新的模型预训练优化器，它是一种轻量级二阶优化器，使用Hessian对角线的廉价随机估计作为预调节器，并通过限幅机制来控制最坏情况下的更新大小。在GPT-2等预训练语言模型上，Sophia以比Adam少了50%的步骤，且实现了相同的预训练损失。\[1\] YOLO是一种目标检测算法，而Yolov8魔术师是一篇关于Yolov8的专栏文章，提供了每一步步骤和源码，帮助读者轻松上手魔改网络。通过阅读这篇专栏文章，读者可以了解如何在Yolov8中进行网络的魔改，包括在不同位置（Backbone、head、detect、loss等）进行创新和改进。\[3\] #### 引用[.reference_title] - *1* *2* [首发Yolov8优化：Adam该换了！斯坦福最新Sophia优化器，比Adam快2倍 | 2023.5月斯坦福最新成果](https://blog.csdn.net/m0_63774211/article/details/130912702)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [《YOLOv8魔术师》专栏介绍 & CSDN独家改进创新实战&专栏目录](https://blog.csdn.net/m0_63774211/article/details/131519223)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小哥谈

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值