运行Diffusers的train_text_to_image_lora.py时报错：Attempting to unscale FP16 gradients.

已于 2024-02-20 10:42:25 修改
阅读量1.5k 收藏 6
点赞数 5
文章标签： stable diffusion
于 2024-02-20 10:41:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenzhuochen7788/article/details/135883716
版权

项目地址：

GitHub - huggingface/diffusers: 🤗 Diffusers: State-of-the-art diffusion models for image and audio generation in PyTorch🤗 Diffusers: State-of-the-art diffusion models for image and audio generation in PyTorch - huggingface/diffusersicon-default.png?t=N7T8https://github.com/huggingface/diffusers/tree/main在运行Lora微调案例：train_text_to_image_lora.py时出现如下报错：

Traceback (most recent call last):
  File "/root/LoRA/diffusers/examples/text_to_image/train_text_to_image_lora.py", line 969, in <module>
    main()
  File "/root/LoRA/diffusers/examples/text_to_image/train_text_to_image_lora.py", line 796, in main
    accelerator.clip_grad_norm_(params_to_clip, args.max_grad_norm)
  File "/root/miniconda3/envs/myconda/lib/python3.10/site-packages/accelerate/accelerator.py", line 2101, in clip_grad_norm_
    self.unscale_gradients()
  File "/root/miniconda3/envs/myconda/lib/python3.10/site-packages/accelerate/accelerator.py", line 2064, in unscale_gradients
    self.scaler.unscale_(opt)
  File "/root/miniconda3/envs/myconda/lib/python3.10/site-packages/torch/cuda/amp/grad_scaler.py", line 284, in unscale_
    optimizer_state["found_inf_per_device"] = self._unscale_grads_(optimizer, inv_scale, found_inf, False)
  File "/root/miniconda3/envs/myconda/lib/python3.10/site-packages/torch/cuda/amp/grad_scaler.py", line 212, in _unscale_grads_
    raise ValueError("Attempting to unscale FP16 gradients.")

issues里面提供了各种方法，但是尝试了一遍都没有解决(也可能是我没理解)

最后，误打误撞：

解决办法：把FP16改成了bf16解决了（注意在accelerate config和训练脚本里面都要设置成bf16）

accelerate launch --mixed_precision="bf16"  train_text_to_image_lora.py \ # 这里原来是fp16
  --pretrained_model_name_or_path=$MODEL_NAME \
  --dataset_name=$DATASET_NAME \
  --dataloader_num_workers=8 \
  --resolution=512 \
  --center_crop \
  --random_flip \
  --train_batch_size=1 \
  --gradient_accumulation_steps=4 \
  --max_train_steps=15000 \
  --learning_rate=1e-04 \
  --max_grad_norm=1 \
  --lr_scheduler="cosine" \
  --lr_warmup_steps=0 \
  --output_dir=${OUTPUT_DIR} \
  --push_to_hub \
  --hub_model_id=${HUB_MODEL_ID} \
  --report_to=wandb \
  --checkpointing_steps=500 \
  --validation_prompt="A pokemon with blue eyes." \
  --seed=1337

卓大胖_
关注
diffusers中sd的微调和lora微调
liguandong
09-14 1491
【代码】diffusers中sd的微调和lora微调。
【问题解决与原理解释】Attempting to unscale FP16 gradients.
weixin_44212848的博客
08-18 4109
在使用 accelerate 训练模型时遇到以下报错，其实本质是没有理解训练过程中的各种精度设置的原理，本文将从等基础概念进行解释。
Facechain系列：命令行进行LoRA训练
duhaining1976的博客
06-06 535
AIGC研究及应用系列
【Hugging Face 开源库】Accelerate 库 —— 大模型训练框架
一杯水果茶！足矣~
03-26 1296
大模型训练框架 Accelerate 库
（新手亲测有效）bug解决：ValueError: Attempting to unscale FP16 gradients. 反复出现的问题。
weixin_41784510的博客
01-30 9091
在运用LoRA对ChatGLM-6B（FP16）大语音模型时，遇到了bug1：ValueError: Attempting to unscale FP16 gradients. 和 bug2： AttributeError: 'ChatGLMTokenizer' object has no attribute 'sp_tokenizer'. Did you mean: '_tokenize'? ，经过一波挫折后，终于解决，把解决的途径总结分享给大家。
accelerate训练SD-LoRA，解决ValueError: Attempting to unscale FP16 gradients.问题
Superstarimage
05-22 1030
训练指令需从原来的：变换一下顺序：
Chatglm2-6B微调中出现的问题——ValueError: Attempting to unscale FP16 gradients.
qq_46479446的博客
02-03 3552
这个问题尝试了很久，实际上是环境的问题，如果在训练过程中，将fp16设置为true+int8量化，那么是可以正常训练推理的，如果不设置int8量化就会报错。可以尝试改变peft的版本。
Fine-Tuning Stable Diffusion with LoRA (Workaround for ‘Unscale FP16 Gradients’ Error)
weixin_41446370的博客
12-19 766
我是在 2024 年 3 月底写这篇文章的，距离这篇文章在 Hugging Face 上发表已经一年多了，距离 Julien Simon 发布视频解释如何使用 AWS EC2 spot instances 以不到 1 美元的价格微调 Stable Diffusion 也有几个月了。首先，这里是你应该参考的官方页面。不幸的是，你很可能会遇到 "Attempting to unscale FP16 gradients. "错误。这里有多个用户报告过这个错误。如果你也遇到了这种情况，下面是解决问题的方法。
混合精度训练 | fp16 用于神经网络训练和预测
qq_35985044的博客
08-28 5445
混合精度训练 混合精度训练是在尽可能减少精度损失的情况下利用半精度浮点数加速训练。它使用FP16即半精度浮点数存储权重和梯度。在减少占用内存的同时起到了加速训练的效果。 IEEE标准中的FP16格式如下： 取值范围是5.96× 10−8 ~ 65504，而FP32则是1.4×10-45 ~ 3.4×1038。 从FP16的范围可以看出，用FP16代替原FP32神经网络计算的最大问题就是精度损失。 float ：1个符号位、8个指数位和23个尾数位 利用fp16 代替 fp32 ...
GPU训练模型遇到的报错
Unauthorized_的博客
07-05 680
注意os.environ[“CUDA_VISIBLE_DEVICES”] 要在import torch前面，否则可能无法生效：https://zhuanlan.zhihu.com/p/582993579。1.查看pytorch是否是cpu版本，是的话参考：https://blog.csdn.net/wqufhu/article/details/129295385。
StableDiffusion 学习笔记 - 训练 LoRA
无限进步
03-16 7075
跑了一下，居然爆了我的 3090 涡轮卡的 24G 显存，找打了一片文章，可以调优参数 https://www.cnblogs.com/huggingface/p/17108402.html。最近一直在学习使用 Stable Diffusion，目前开始学习 LoRA 训练，试图使用 LoRA 微调预训练模型，实现脸型替换等常用功能。工具，但是没有理解数据集的准备方式，翻阅代码也没有理解到有用的信息。工具，它可以裁切缩放原始图像，最重要的是。，看了一遍参数，发现传入参数需要。，写了一段简单的代码，从。
【bug解决】Lora微调chatglm6b出现step10后loss持续为0
qq_41502855的博客
04-07 1071
lora微调过程中出现loss持续为0。
(新手亲测有效)bug解决：在用显存24G的3090采用LoRA微调ChatGLM-6B（FP16）时报错torch.OutOfMemoryError:CUDA out of Memory.
weixin_41784510的博客
02-02 2303
在解决了alueError: Attempting to unscale FP16 gradients. 和 AttributeError: 'ChatGLMTokenizer' object has no attribute 'sp_tokenizer'. Did you mean: '_tokenize'?这两个bug后，在GPU0上运行时，不再有torch.OutOfMemoryError:CUDA out of Memory.报错。
stable diffusion微调总结
qq128252的博客
02-02 6933
SDXL 潜在一致性模型 （LCM） 如“潜在一致性模型：使用几步推理合成高分辨率图像”中提出的那样，通过减少所需的步骤数彻底改变了图像生成过程。它将原始 SDXL 模型提炼成一个需要更少步骤（4 到 8 个而不是 25 到 50 个步骤）来生成图像的版本。该模型对于需要在不影响质量的情况下快速生成图像的应用特别有利。值得一提的是，它比原来的 SDXL 小 50%，快 60%。SDXL Distilled 是指为特定目的而“蒸馏”的 SDXL 模型版本。例如，Segmind 稳定扩散模型 （SSD-1B）
PAI-Diffusion中文模型全面升级，海量高清艺术大图一键生成
科技很有意思
05-25 940
PAI-Diffusion中文模型大幅升级，本文详细介绍PAI-Diffusion中文模型的新功能和新特性。
【bug】通过lora方式微调sdxl inpainting踩坑
Everglowwwwww的博客
09-17 752
【代码】【bug】通过lora方式微调sdxl inpainting踩坑。
AIGC在营销图片生成技术综述
liangwqi的博客
01-29 2926
AIGC在营销素材生成中技术介绍，和实例尝试
基于diffusers训练lora，AI换装
liguandong
06-01 2444
欢迎登录阿里云，全球领先的云计算及人工智能科技公司，阿里云为200多个国家和地区的企业、开发者和政府机构提供云计算基础服务及解决方案。阿里云云计算、安全、大数据、人工智能、企业应用、物联网等云计算服务。2.5.1 将lora模型转化成webui支持格式并拷贝至webui所在目录。2.3 下载预训练模型病转成diffusers格式，可在hf上下载。阿里云登录 - 欢迎登录阿里云，安全稳定的云计算服务平台。1.5 下载stable-diffusion-webui。1.1 下载diffussers库并安装依赖。
https://github.com/huggingface/diffusers/blob/main/examples/controlnet/train_controlnet.py
最新发布
04-04
### Hugging Face Diffusers 库中 ControlNet 训练示例代码解析 `train_controlnet.py` 是 Hugging Face Diffusers 提供的一个脚本，用于训练 ControlNet 模型。以下是该源码的关键部分及其功能的详细解析。 #### 1. 导入库和初始化参数 在 `train_controlnet.py` 中，首先导入必要的库并定义超参数。这些库包括 PyTorch、Transformers 和 Diffusers 等核心工具包。此外，还加载了预训练的基础扩散模型（如 Stable Diffusion），以及控制信号提取器（如 Canny 边缘检测器或其他视觉特征提取网络）[^1]。 ```python from diffusers import UNet2DConditionModel, AutoencoderKL, DDPMScheduler, PNDMScheduler import torch from torchvision.transforms.functional import pil_to_tensor from datasets import load_dataset ``` 上述代码片段展示了如何引入主要依赖项，并准备后续的数据处理与模型构建工作。 --- #### 2. 数据集准备 为了训练 ControlNet，通常会使用带有标注信息的图像数据集（例如 Fill50K 或其他自定义数据集）。以下是一些常见的操作： - **加载数据集**：通过 `datasets.load_dataset()` 函数读取指定路径下的图片和标签。 - **预处理函数**：将输入图像转换为张量形式，并应用标准化和其他增强技术。 ```python def preprocess(image): image = pil_to_tensor(image).to(torch.float32) / 255.0 return {"pixel_values": image.unsqueeze(0), "conditioning_pixel_values": canny_detector(image)} ``` 此段代码实现了对原始图像的规范化处理，并调用了边缘检测算法生成条件输入[^3]。 --- #### 3. 构建模型架构 ControlNet 的设计允许其附加到现有的 U-Net 结构之上，在编码阶段注入额外的信息流。具体实现如下所示： - 加载基础 U-Net 和 VAE 权重作为初始状态； - 修改标准 U-Net 层次结构，使其能够接受来自辅助分支（即 Condition Net）的梯度更新。 ```python unet = UNet2DConditionModel.from_pretrained(pretrained_model_name_or_path="CompVis/stable-diffusion-v1-4", subfolder="unet") controlnet = ControlNetModel( in_channels=unet.config.in_channels, down_block_types=["CrossAttnDownBlock2D"] * unet.config.down_blocks, block_out_channels=unet.config.block_out_channels[:len(unet.config.down_blocks)], ) ``` 这里明确了如何基于已有的 Stable Diffusion 主干创建一个新的可控变体[^2]。 --- #### 4. 定义损失函数与优化策略 对于监督学习模式下的 ControlNet 训练而言，目标是最小化预测分布同真实样本之间的差异。因此采用均方误差 (MSE Loss)，并通过 AdamW 进行参数调整。 ```python optimizer = torch.optim.AdamW(controlnet.parameters(), lr=args.learning_rate) for epoch in range(args.num_epochs): for batch in dataloader: optimizer.zero_grad() noise_pred = model(batch["pixel_values"], timesteps=batch["timestep"]) loss = F.mse_loss(noise_pred, batch["noisy_latents"]) loss.backward() optimizer.step() ``` 以上伪代码概括了整个迭代过程中涉及的主要计算逻辑。 --- #### 5. 错误排查提示 如果运行期间遇到诸如 `"RuntimeError"` 类别的异常，则可能是由于缺少某些必需组件所致。比如当尝试加载 Transformer 相关资源时触发缺失句法单元错误，则需单独安装第三方扩展包 `sentencepiece` 解决此类问题[^4]。 ```bash pip install sentencepiece ``` 执行这条命令即可完成修复动作。 --- ### 总结 通过对 `train_controlnet.py` 文件逐条分析可以看出，它不仅涵盖了完整的端到端解决方案框架搭建思路，而且充分体现了模块化设计理念的优势所在——既保留原有体系灵活性的同时又增强了可定制能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值