使用PeftModel加载LoRA训练模型报错 AssertionError: No inf checks were recorded for this optimizer.

最新推荐文章于 2024-11-09 18:03:01 发布

kappam

最新推荐文章于 2024-11-09 18:03:01 发布

阅读量290

点赞数 1

文章标签：人工智能深度学习机器学习 python nlp

本文链接：https://blog.csdn.net/weixin_44646237/article/details/142760776

版权

使用PeftModel加载LoRA权重后，模型开始训练时报错，导致无法开始训练:
AssertionError: No inf checks were recorded for this optimizer.

只需在加载LoRA权重时将参数is_trainable设置为True

model = PeftModel.from_pretrained(model, lora_checkpoint, is_trainable=True)

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

kappam

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

bug解决：AssertionError: No inf checks were recorded for this optimizer.

m0_52945258的博客

08-13

2649

然后发现自己用的混合精度训练，发现问题解决问题，谨此记录，方便查阅。

No inf checks were recorded for this optimizer

记录/交流，加油啊呀...

12-20

808

直接pip install torch，导致cuda版本与pytorch版本不匹配，去官网下载对应cuda版本的pytorch解决问题。

参与评论您还未登录，请先登录后发表或查看评论

AssertionError：断言错误的完美解决方法 ️

沉淀、分享、成长，让自己和他人都能有所收获！

08-13

2万+

大家好，我是默语！在Python开发中，是一种常见的错误，通常发生在代码中的某个断言条件不满足时。断言通常用于开发和测试阶段，以确保代码在预期条件下运行。如果断言失败，程序会抛出，提示我们代码中可能存在问题。今天，我将带大家深入探讨如何有效地处理和预防这种错误。是一种非常有用的工具，可以帮助我们在开发和测试阶段发现潜在问题。然而，滥用断言可能导致代码中出现不必要的错误。因此，我们需要谨慎使用assert语句，确保它们只用于真正需要验证的条件。在这篇博客中，我们深入探讨了的产生原因，并提供了多种解决方案。

Pytorch——报错解决：No inf checks were recorded for this optimizer.

Irving.Gao的博客

11-18

5662

报错解决：No inf checks were recorded for this optimizer.

“No inf checks were recorded for this optimizer.“ AssertionError:错误解决

小姑仔的博客

03-19

5776

"No inf checks were recorded for this optimizer." 错误解决

解决AssertionError: No inf checks were recorded for this optimizer

weixin_44904435的博客

10-17

1994

我把代码里的embedding数据类型都输出一遍，全都改了，发现还是报错，才发现如果设置了trainer的这个yaml文件，也得改。在torch.cuda.amp.grad_scaler.py里面有这段注释。大概意思即float16会溢出，全部换成float32即可。将float16转换为float32，可通过to()函数。

No inf check was recorded for this optimizer. 使用BLIP-2（LAVIS）库的NaN问题

MadChiang的博客

11-06

479

这里最关键的是model.extract_features()这个函数，题主是使用该函数提取特征用于多模态检索的代理任务，提取到的特征经过一定的处理后输入损失函数，用于计算损失，在损失计算，自动求道，梯度回传之后，在scaler.step(optimizer)这一步出错。在使用BLIP-2预训练模型用来提取特征时，遇到的一些问题，没有梯度的问题，参照BLIP-2 feature extraction的示例文件。

lora训练模型-lora-scripts-main.zip

08-13

标题中的“lora训练模型-lora-scripts-main.zip”指的是一个包含LoRA（Low-Rank Adaptation）训练模型的压缩文件。LoRA是一种针对预训练语言模型进行微调的技术，它通过引入低秩矩阵来适应特定任务，从而在不显著...

chatglm使用lora进行模型微调训练

06-24

chatglm使用lora进行模型微调训练，没有采用官方的方案，使用了另一种效果好的方案，对于显存特别友好，24g显存就能训练自己的垂直领域大模型训练了，效果还是非常的好的，适合自己机器不是很多的需要做实验的同学

LoRa训练模型、技术应用

08-04

3. 数据预处理：对数据进行预处理，以确保其适合模型训练。例如，您可能需要将数据归一化或去除噪声。 4. 特征提取：从数据中提取有用的特征，以便模型可以更好地学习和预测。例如，您可以使用主成分分析（PCA）或...

模型全参数训练和LoRA微调所需显存的分析

最新发布

jixn的博客

11-09

1520

苹果推出了一个新框架——App Intents，使开发者可以在iOS 18.2+、macOS 15.2+等平台上集成Siri和Apple Intelligence，实现对应用内容的读取和操作。App Intents使应用的功能和内容能无缝融入系统体验中，例如Siri、Spotlight搜索、快捷指令和小组件，让用户可以轻松访问应用核心功能，并获得更智能的Siri帮助。：表示应用内容，如照片、联系人或文件。：用户可以对 Siri 发出指令，例如“查找我的航班”或“添加待办事项”，Siri直接与应用交互。

掌握AIStarter新功能，轻松关闭广告享受纯净浏览体验

ai_xiaogui的博客

11-07

428

AIStarter的广告拦截器是一项集成在平台内部的新特性，它允许用户根据自己的喜好设置广告过滤规则。无论是烦人的横幅广告、视频前贴片广告还是弹窗广告，都可以通过简单的设置被有效屏蔽。这项功能不仅提升了用户的浏览效率，还保护了用户的隐私安全。在数字时代，拥有一个清爽无干扰的网络环境对每个人都至关重要。AIStarter的广告拦截器正是为此而设计，它帮助用户夺回了对个人浏览体验的控制权。现在就尝试启用这项功能，开始享受一个更加干净、高效的上网体验吧！不要广告！关闭广告！

一次薅国家超算平台的记录

weixin_55179972的博客

11-07

407

参与谁是下一个“AI”跃人 -AI体验推介活动，赢取千元算力券！（https://www.scnet.cn/home/subject/modular/index270.html）2. Clone开源的Llama3 Chinese （https://github.com/LlamaFamily/Llama-Chinese）活动名称主题：国家超算互联网「AI跃升季」：谁是下一个“AI”跃人 - AI算力体验活动。其中位置1，2替换为商品基模型和训练出来的微调模型。模型改为商城下载的模型。2、运行的过程记录。

在后LLM时代，关于新一代智能体的思考

langboat_mengzi的博客

11-07

775

同时，新一代智能体工具平台应具备与基座LLM保持独立的多层次智能体系，无需依赖单一大模型或者技术供应商，如此一来，有利于实现模块化开发，具备较强的可维护性，同时还能够建立良好的生态，促进智能体的繁荣发展。而“慢思考”是指在基础模型的基础上，当处理一些复杂指令时，智能体将需求拆解成多个子任务，会调用不同的工具来完成任务，并对结果进行反思、确认，这一过程体现了一种类似于人类思维的“系统 2”的过程，即 step-by-step、可解释的且能导致更准确结果的过程。这些能力对于智能体具有重要的作用和价值。

Yolo11实战改进：一文读懂Yolo11到实战。

m0_47867638的博客

11-09

588

YOLO11是Ultralytics YOLO系列实时目标检测器的最新迭代版本，它以尖端的精度、速度和效率重新定义了可能性。在之前YOLO版本令人瞩目的进步基础上，YOLO11在架构和训练方法上引入了重大改进，使其成为各种计算机视觉任务的通用选择。关键特性：YOLO11采用改进的主干网络和颈部架构，提高了特征提取能力，以实现更精确的目标检测和更复杂的任务性能。YOLO11引入了精细的架构设计和优化的训练流程，提供了更快的处理速度，并在准确性和性能之间保持了最佳平衡。