CLIP模型NAN问题解决

于 2024-05-30 23:07:12 发布
阅读量231 收藏
点赞数 3
文章标签： 深度学习 pytorch 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_19859865/article/details/139336523
版权

早有耳闻，clip模型会在fp16下发生NAN的问题，但是今天基于2080Ti测试，发现在单精度下的tensorrt推理同样存在NAN的问题，我甚至一度怀疑是tensorrt的推理代码有问题。

之后，决定从python代码的角度去寻找问题的答案，经过单步调试，发现，在transformers库的/modeling_clip.py文件的 _build_causal_attention_mask()函数中，存在inf的输入，接着，把它用-10000替代。

 在转换为onnx后，对比onnxruntime和原始torch的推理结果，一致。然后，对比tensorrt的输出结果，符合预期。

这一方法简单粗暴，确实有蒙的成分。但是，代码改动量小。。

Undefined游侠
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
CLIP编码器调用时刚开始正常，然后输出全部变为NaN
qq_35623400的博客
07-08 205
2、进入clip.py文件，找到函数load，在return之前加一个.float()转为fp32即可。3、如果找不到文件在哪，就debug，断点打在clip.load()这一行，然后一行一行走就进去了。参考资料：https://github.com/openai/CLIP/issues/144。网上办法不多，找了半天终于看到问题所在，但是没有说在哪里改的，故记录一下。改一下模型精度就正常了，默认的是fp16，改为fp32即可。1、找到你加载clip模型的文件，比如我的是在这。因为他默认的是加载fp16。
模型训练 出现NaN的原因以及解决方法
码农研究僧的博客
12-05 4486
学习率过高： 过大的学习率可能导致权重更新过大，使得权重变得非常大或非常小，从而导致数值不稳定性。梯度爆炸： 当反向传播过程中的梯度变得非常大时，权重更新可能会导致数值不稳定。这通常与深度神经网络中的梯度消失/爆炸问题有关。数值不稳定的激活函数： 某些激活函数在输入值很大或很小的情况下可能产生数值不稳定性。例如，Sigmoid函数在输入值非常大或非常小时可能会返回饱和的输出，导致梯度接近于零。数据预处理问题： 数据中的异常值或不稳定性可能导致网络在处理这些值时出现数值问题。
tf2.1.0 ubuntu1804 对于nan值 神坑 tf.clip_by_value
OnTheway
04-11 426
大家知道 新手玩神经网络总是会遇到nan 我看大家通过clip_by_value就把nan给幅了 我在win上的tf2.1.0 上测试也是ok 的 我还测了tf.maxmum 但是我怎么也不会想到这样的效果在我的wsl中尽然是 不行的，不知道大家的行不行 在ubuntu中是这样子的 自闭时间2020.4.11 ...
tensorrt输出结果为nan的解决方案
freedom的博客
05-29 494
本着用新不用旧标准，果断下载了8.6，torch-->onnx-->engine转换过程均没问题，但测试发现engine输出的结果全为nan！trt版本高了，不能用8.6，应该是某些算子不支持，V8.5或者V7可用。1.针对cuda版本查了一下trt支持版本，发现V10和V8版本都支持。1.查看了tensorrt的issues，在这一个下发现解决方法。，果断下载重装，测试输出结果正常。
tensorflow clip对NaN、inf的效果
iTom's blog
07-16 959
TensorFlow 的 clipping 对 inf、NaN 的效果
【python】tensorrt8版本下的onnx转tensorrt engine
weixin_42492254的博客
06-16 5474
【python】tensorrt8版本下的onnx转tensorrt engine
transformers库中关于CLIP模型的使用说明
06-19
transformers库中关于CLIP模型的使用说明
tensorflow训练中出现nan问题的解决
09-20
在深度学习过程中，特别是在使用TensorFlow框架训练神经网络模型时，可能会遇到训练损失(loss)突然变为`nan`（非数字）的问题。这通常意味着出现了数值溢出或分母为零等计算异常。解决这个问题需要从多个角度进行...
clip-vit-b-32模型
04-07
《CLIP-ViT-B-32模型：深度学习的视觉与语言理解新里程碑》 CLIP（ Contrastive Language-Image Pre-training，对比性语言-图像预训练）模型是由OpenAI团队开发的一种革命性的深度学习模型，它在视觉与语言理解领域...
在家装家居场景上微调的clip模型.zip
最新发布
07-26
有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案...
CLIP 模型从 .pt 到 .onnx 的 python 转化代码
05-20
本代码详细演示了如何将 OpenAI 的 CLIP 模型从 PyTorch 的 .pt 格式转换为 ONNX 格式，便于在多种平台上进行部署和加速推理。 适用人群：机器学习和深度学习开发者、模型部署工程师、需要在不同平台上高效运行模型...
tensorRT加速遇到的若干问题
liuyang_xyz的博客
04-07 931
当时出现了未定义的算子问题，查看代码发现是自定义了函数：class LayerNormFunction(torch.autograd.Function):函数根据LayerNormFunction函数的forward函数编写了symbolic函数下面的symbolic函数可以通过chartgpt提交forward函数辅助编写symbolic。
模型量化！ONNX转TensorRT(FP32, FP16, INT8)
qq_43522163的博客
07-10 5770
模型量化！ONNX转TensorRT(FP32, FP16, INT8)
预训练模型输出nan的问题解决方法
qq_44579371的博客
05-23 449
类似的问题还出现在训练大规模CLIP时，使用混合精度Float16训练会出现NAN，但是换成BFloat16就能解决该问题。使用来自与训练集同一数据集的图片做推理测试时，预训练模型能正常提取图像特征，但是将其放到训练流程中时，模型输出为NAN。BFloat16 格式使用16位表示浮点数，其中1位用于符号，8位用于指数，7位用于尾数。Float16 格式使用16位表示浮点数，其中1位用于符号，5位用于指数，10位用于尾数。所以重新配置我的模型的训练精度为BF16成功解决问题。：预训练模型+下游任务层。
yolov9 tensorrt推理结果全为None
qq_44846512的博客
04-24 345
基于上述问题，我尝试以下几种方式：(1) 使用开源的基于yolov9的c++版推理代码，进行测试，发现结果认为nan值；(4) 最后我发现在使用export.py转onnx和engine时，因为要转为fp6格式，故参数里设置half为True，它会先将加载的pt模型截断到fp16范围内，再进行后续操作。在写部署代码时，发现使用python写推理代码，无论是fp32还是fp16的engine，最后结果都可以正常输出，但是在使用c++写同样的推理代码时发现使用fp32的engine作为引擎，推理结果正常。
从TensorRT看INT8量化原理
pangxing6491的博客
09-08 318
int8
前端累加nan怎么解决_训练网络loss出现Nan解决办法
weixin_39876595的博客
12-04 2167
训练网络loss出现Nan解决办法一.原因一般来说，出现NaN有以下几种情况：1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN可能是因为梯度爆炸的原因，一个有效的方式是增加“gradient clipping”（...
numpy中的clip裁剪 将数组中的数值转换为nan类型
shuyv的博客
07-23 970
代码演示： 首先创建一个10*10的二维数组 [数组的创建] (https://blog.csdn.net/shuyv/article/details/104351366) import numpy as np t2 = np.arange(100).reshape(10,10) print(t2) t2的结果如下： [[ 0 1 2 3 4 5 6 7 8 9] [10 11 12 13 14 15 16 17 18 19] [20 21 22 23 24 25 26 27 28
np.clip返回值nan
07-27
np.clip函数用于将数组中的值限制在某个范围内。如果返回值为nan，可能是因为输入数组中包含了nan值。在使用np.clip函数时，如果输入数组中有nan值，那么输出数组对应位置的值也会是nan。这是因为nan与任何数值计算都是nan，所以在进行限制范围的操作时，如果输入数组中有nan值，输出数组对应位置的值也会是nan。为了处理这种情况，可以使用np.isnan函数判断数组中的nan值，并在进行限制范围的操作之前将nan值替换为其他数值，比如使用np.nan_to_num函数将nan值替换为0。这样就可以避免np.clip函数返回nan值了。 #### 引用[.reference_title] - *1* *2* *3* [python-数据分析（8-numpy02）](https://blog.csdn.net/zaibiketaide/article/details/108456325)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值