ChatGLM推理报错RuntimeError: probability tensor contains either `inf`, `nan` or element ＜ 0

已于 2024-07-11 14:26:51 修改
阅读量7.1k 收藏 3
点赞数 2
分类专栏： bug报错 文章标签： chatgpt ChatGLM
于 2023-10-12 22:09:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44563460/article/details/133800257
版权
当在训练完ChatGLM后尝试进行推理时遇到错误，因为probabilitytensor包含了-inf,nan或小于0的元素。解决方法是删除main.py文件中第387行和396行的do_sample=True语句。
摘要由CSDN通过智能技术生成

训练完ChatGLM后想执行推理时，发现模型报错

RuntimeError: probability tensor contains either `inf`, `nan` or element < 0

解决方法：
删除ptuning下的main.py文件第387行和396行的do_sample=True红框语句。
在这里插入图片描述

nk妹妹
关注
专栏目录
RuntimeError: probability tensor contains either `inf`, `nan` or element ＜ 0
h1773655323的博客
04-22 2108
这个问题卡了有一天的时间，后来，在对于torch的每个版本进行测试后，发现torch 2.2会出现这个问题，将版本降到torch 2.1.0就可以解决。
让人无语的“RuntimeError: probability tensor contains either inf, nan or element ＜ 0 “
xiexiecn的专栏
03-27 3806
上天眷顾，错误变了，不再是"RuntimeError: probability tensor contains either inf, nan or element < 0 "，出来clip ViT-B-32.pt权重hash不match，这个也是比较奇怪，经过轮番轰炸的print debug之后，总结出规律就是，下面这个代码不工作，两次输出的hash不一样。吐槽一下，现在安装torch老是会遇到什么hash不匹配之类的，需要加--no-cache-dir，有时候还不管用，折腾死了，不知道世界咋了。
Qwen2报错——RuntimeError: “triu_tril_cuda_template“ not implemented for ‘BFloat16‘
LiQZ的博客
08-13 1681
最近在使用 Qwen2-7B-Instruct 的时候报错 RuntimeError: “triu_tril_cuda_template” not implemented for ‘BFloat16’，尝试解决了几个星期终于解决了问题，以下是整体解决思路与方案。
python 温度插值nan处理_Python处理inf和Nan值,pytorch,nan,数值
weixin_32243075的博客
01-14 681
在构建网络框架后，运行代码，发现很多tensor出现了inf值或者nan,在很多博客上没有找到对应的解决方法，大部分是基于numpy写的，比较麻烦。下面基于torch BIF函数实现替换这2个值。a = torch.Tensor([[1, 2, np.nan], [np.inf, np.nan, 4], [3, 4, 5]])aOut[158]:tensor([[1., 2., nan],[inf...
训练模型的时候， Warning: NaN or Inf found in input tensor 解决办法
qq_38284961的博客
11-06 2万+
一般出现这句话的时候表示，模型训练过程中出现梯度消失或者梯度爆炸。 更改方式是降低初始学习率，比如加入初始学习率是0.1那么就将它改成0.01。 ...
【问题记录】RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn
yokon的博客
03-25 317
进行了修改，能够解决报错问题，但是能够从评论区看出该方法治标不治本，并且存在漏洞，在本实验中表现为初轮iteration损失巨巨巨高（高达97…，而正常损失之介于0…经调试发现，在传播过程中BCE在网络返回值与标签值均为内存地址，而BCL为Tensor张量可见。在对神经网络的损失函数进行修改时遇到标题中的问题。
【无标题】Pytorch 中范数求解遇到的问题之RuntimeError的解决办法，和新的范数求解语法规则
gtwaaaa的博客
04-25 2014
Pytorch 中范数求解遇到的问题之RuntimeError的解决办法，和新的范数求解语法规则
AnomalyGPT缺陷检测报错【probability tensor contains either `inf`, `nan` element ＜ 0】
最新发布
weixin_42332746的博客
09-11 481
在使用AnomalyGPT进行缺陷检测的过程中，对于有些缺陷图片，会显示erro和报错Error in model generation: probability tensor contains either `inf`, `nan` or element < 0。web_demo.py中generate转定义，注释do_sample=True。
RuntimeError: invalid multinomial distribution (encountering probability entry ＜ 0)
crystallilili的博客
11-07 1559
在使用torch.multinomial()对rnn网络输出值进行选择时，当学习率高于0.000001时，运行报错“RuntimeError: invalid multinomial distribution (encountering probability entry < 0)
RuntimeError: element 0 of tensors does not require grad and does not have a grad_
02-27 1万+
https://www.cnblogs.com/sddai/p/14899411.html 使用 model.eval() 出现RuntimeError: element 0 of tensors does not require grad and does not have a grad_
ChatGLM + PEFT 进行finetune
消极的人永远是对的，积极的人选择勇往直前
05-18 3217
ChatGLM + PEFT 进行finetune
本地部署chatglm3报错：RuntimeError: Internal: src/sentencepiece_processor.cc(1101)
m0_53903583的博客
12-10 860
解决方法：检查本地model路径‘model_dir’，应指向chatglm3-6b文件夹，路径比如：path/chatglm3-6b。解决方法：检查sha256 （修改路径为你本地tokenizer.model的路径）1. 原因：chatglm3-6b下的tokenizer.model有问题。2. 原因：本地位置错误。
RuntimeError: Boolean value of Tensor with more than one value is ambiguous解决方案
weixin_43178406的博客
07-22 6万+
本文主要介绍了RuntimeError: Boolean value of Tensor with more than one value is ambiguous解决方案，希望能对学习python的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
RuntimeError: “addmm_impl_cpu_“ not implemented for ‘Half‘解决方案
weixin_43178406的博客
04-18 7万+
本文主要介绍了RuntimeError: “addmm_impl_cpu_” not implemented for 'Half’解决方案，希望能对学习大模型的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
RuntimeError: “LayerNormKernelImpl“ not implemented for ‘Half‘解决方案
热门推荐
weixin_43178406的博客
10-13 8万+
 本文主要介绍了RuntimeError: “LayerNormKernelImpl” not implemented for 'Half’解决方案，希望能对学习大模型的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
【bug解决】llama3微调bug解决
qq_41502855的博客
06-19 661
infnaninf。
Fastchat安装vicuna-7b-v1.3（小羊驼） ——超详细版
入门记
07-06 5056
下载好的vicuna-7b模型的地址，本地路径/root/vicuna-7b/vicuna-7b-delta-v11（lmsys/vicuna-7b-delta-v1.1意思是联网下载vicuna-7b-delta-v1.1）export PATH=$PATH:/usr/local/cuda-11.6/bin 将/usr/local/cuda-11.6/bin添加到环境变量。参数：--model_size是指定哪个参数级的模型，7B是70亿参数模型，还有13B/30B/65B的模型。
MiNiGPT4安装记录
qq_37668436的博客
04-26 1665
MiNiGPT运行记录
RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn
KKai的博客
12-27 2061
loss的时候出了问题导致 `loss.requires_grad=False`
RuntimeError: probability tensor contains either `inf`, `nan` or element < 0
06-02
这个错误通常是由于概率张量包含无效值（如inf，nan或小于0的元素）而引起的。这个问题可能是在模型训练过程中发生的，可能是在输入数据预处理中出现的。 为了解决这个问题，你可以尝试以下几个步骤： 1. 检查数据预处理过程中是否存在问题，例如是否存在无效值或缺失值。 2. 检查模型训练过程中是否存在问题，例如是否使用了无效的损失函数或优化器。 3. 尝试对数据进行归一化或标准化，以确保所有值都在合理的范围内。 4. 如果问题仍然存在，可以考虑使用其他的模型或算法来解决问题。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值