【Trainer】Deepspeed + Trainer 如何配置余弦学习率 cosine_lr

最新推荐文章于 2024-07-20 15:24:03 发布
最新推荐文章于 2024-07-20 15:24:03 发布
阅读量311 收藏
点赞数 10
文章标签： 学习 python 自然语言处理 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baidu_32500247/article/details/140136263
版权

Deepspeed config 文件配置

ds_config.json 中按照如下方式配置

在这里插入图片描述

Trainer 传参

在 trainer 传参时，通过warmup_steps 设置需要 warmup 的步数，如果在 deepspeed config 中设置，则需与传参保持一致，否则会报错，所以建议 config 文件中设置为 auto

在这里插入图片描述

补充

另，若 trainer 中不传该参数，也会报错，trainer 默认 warmup_step=0

在这里插入图片描述

Jensen不敲代码
关注
  • 10
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
deepspeed+trainer简单高效实现多卡微调大模型.zip
03-14
垂直领域大模型，多模态，人工智能，易于部署，学习交流使用
devigi1t1_igicovert_trainer+1_DotheWork_
10-03
Note: The cheats and tricks listed above may not necessarily work with your copy of the game. This is due to the fact that they generally work with a specific version of the game and after updating it...
deepspeed入门
weixin_40777649的博客
05-09 1269
4. 如果其他配置相同，ZeRO-3 可能会比 ZeRO-2 慢，因为除了 ZeRO-2 之外，前者还必须收集模型权重。4.1 deepspeed 配置主要包括：精度配置模块，优化器模块、零冗余优化器模块、预热调度器模块、batch_size/梯度等模块。2. ZeRO-1主要优化优化器的存储，ZeRO-2进一步优化模型参数和优化器状态的存储，而ZeRO-3还包括对激活的优化。1. ZeRO-1、ZeRO-2和ZeRO-3是递进的优化级别，每个级别都在前一个级别的基础上减少更多的内存冗余。
《AI大模型应用》-deepspeed+trainer简单高效实现多卡微调大模型.zip
07-10
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。... 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。... 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。... 个人深耕AI大模型应用领域积累的成果...
GTA-VC.rar_VC trainer_city_gta_gta-
09-14
在"**GTA-VC.rar**"这个压缩包中，我们找到了一个针对这款游戏的"trainer"，即游戏修改器。 游戏修改器，或称训练器，是玩家为了在游戏中获得额外优势而使用的第三方软件。它通常能提供如无限生命、无限弹药、瞬间...
Battlefield_2142_Trainer _cheat_Trainer_battlefield2142_
10-04
在这个特定的资源包中，"Battlefield_2142_Trainer _cheat_Trainer_battlefield2142_" 提供了作弊训练器，这是为游戏增加趣味性和挑战性的一种方式。作弊训练器通常包含一系列修改游戏参数的工具，例如无限弹药、...
昇思25天学习打卡营第14天|LLM-文本解码原理--以MindNLP为例
wwt72的博客
07-17 731
限制输出序列的最大长度为50个token。top-p=0.95，top-p采样表示在每一步生成token时，只从概率分布中累计概率达到95%的token中进行采样，有助于保持生成文本的流畅性和质量，同时允许一些低概率的token被选中，从而增加多样性。表示禁用了top-k采样，因为在top-k采样中，通常是从概率最高的k个token中随机选择一个token作为下一个输出，而这里设置为0表示不限制token的选择，实际上这将等同于使用 softmax 概率分布直接进行采样。这有助于提高生成文本的多样性。
卷积神经网络学习问题总结
weixin_61681867的博客
07-17 499
均方误差函数（MSE）适用于回归任务，如预测房价、预测股票价格等。
kubernetes学习日志（七）
qq_47037022的博客
07-18 575
本文记录了service管理，ingress管理，Dashboard管理插件，集群鉴权策略，角色与全局角色，赋权与全局角色赋权。
手写简易版Spring IOC容器02【学习】
weixin_44794897的博客
07-19 457
其中applyPropertyValues用于从beanDefinition中读取属性的配置信息然后通过BeanUtil(hutool-all中提供的类)为其赋值@Overridetry {// 创建bean实例Class<?if (null!break;// 设置属性值try {// 从beanDefinition中获取property通过Resource获取文件流。
博客前端项目学习day03——框架页
qq_53237241的博客
07-19 318
【代码】博客前端项目学习day03——框架页。
昇思25天学习打卡营第16天|munger85
MungerVC
07-20 281
MobileNet网络是由Google团队于2017年提出的专注于移动端、嵌入式或IoT设备的轻量级CNN网络，相比于传统的卷积神经网络首先安装依赖下载数据。
钓鱼攻击 - 基础学习
Reset
07-16 713
钓鱼攻击是一种典型的欺诈式攻击手段，攻击者通过伪装成可以信任的角色，利用电子邮件或其他通信渠道向被攻击者发送植入了木马的文档或恶意链接，并诱骗被攻击者点击执行，从而实现对被攻击者计算机的远程控制或恶意程序感染。
huawei USG6001v1学习--防火墙相关知识（1）
m0_65350813的博客
07-19 336
防火墙主要是借助硬件和软件的作用于内部和外部网络的环境间产生一种保护的屏障，从而实现对计算机不安全网络因素的阻断。
SAP PP学习笔记28 - 生产订单的收货及品质管理
shi_ly的专栏
07-16 863
本质讲生产订单的收货的相关内容，生产订单的收货，以及纳入完了之后如何继续收货，收货中的品质管理等内容。
Games101学习笔记 Lecture 20: Color and Perception
weixin_70073176的博客
07-17 923
Pθϕ)λPθϕλ)PθϕλtVx​Vy​Vz​。
数据库内核研发学习之路（四）创建postgres拓展函数
最新发布
ai_d_d的博客
07-20 623
紧接上章，熟悉postgres的都知道，它支持很多拓展，例如gist拓展、pg_top拓展之类，这些拓展是postgres拓展功能重要方法之一，下面就以例子实现拓展函数。
springSecurity学习之springSecurity简介
Lxn2zh的博客
07-19 326
DaoAuthenticationProvider 该类是AuthenticationProvider最常用的实现类，使用UserDetailsService来加载UserDetails，用来获取用户提交的用户名和密码对比正确性，实现了其父类的两个抽象方法，通过该类来进行认证用户。其中的用户名密码都是spring security生成或者配置的，但是在实际使用中用户名和密码都是从数据库去进行读取的，所以这段逻辑需要进行自定义，如果需要自定义逻辑时，需要实现 UserDetailsService 接口。
学习日志：java线程
weixin_46117680的博客
07-16 896
这里总结线程的一些概念以及使用。
AttributeError: 'Trainer' object has no attribute 'lr_find'
03-17
AttributeError: 'Trainer' object has no attribute 'lr_find'是一个错误提示，意味着在Trainer对象中没有名为'lr_find'的属性。这通常发生在尝试调用一个不存在的方法或属性时。 在这种情况下，可能是因为你正在使用的Trainer对象不支持lr_find方法。lr_find是一种用于找到合适的学习率的方法，通常用于训练神经网络模型。如果你想使用lr_find方法，你需要确保你正在使用的Trainer对象具有该方法。 为了解决这个问题，你可以尝试以下几个步骤： 1. 确保你的Trainer对象是正确初始化的，并且具有lr_find方法。 2. 检查你的代码是否正确导入了必要的库和模块。 3. 查阅相关文档或参考示例代码，以确保你正确地使用了Trainer对象和lr_find方法。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值