ValueError: Input contains NaN, infinity or a value too large for dtype('float64')问题解决

最新推荐文章于 2024-09-24 00:18:29 发布
最新推荐文章于 2024-09-24 00:18:29 发布
阅读量2.4w 收藏 15
点赞数 6
分类专栏： 数据处理与分析 文章标签： 数据 sklearn dataframe
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yunixiang/article/details/78865047
版权
在使用sklearn.metrics.roc_auc_score()计算AUC时遇到ValueError，原因是数据中含有NaN或过大值。通过检查发现是sigmoid函数计算结果出现空值，由于中间计算过程中的除0操作导致NaN。通过定位并处理这些异常记录，解决了问题。
摘要由CSDN通过智能技术生成
问题背景

博主在调用sklearn.metrics.roc_auc_score()计算AUC时出现了这个报错

问题分析

错误提示说数据里面包含空值或者无穷大的数据，参与计算的两列数据有一列不是1就是0，另一列是楼主自己写的sigmoid函数计算出来的值，但是sigmoid函数不太可能算出无穷大的数值，所以关注是不是有哪个数出问题算出空值了。

  • 先检查有哪些列存在空值
 data = pd.read_csv('filename.csv')
 print(data.isnull().any())

打印出来下面的结果：

date           False
predict         True
time
最低0.47元/天 解锁文章
ssy_rain
关注
专栏目录
成功解决ValueError: Input contains NaN, infinity or a value too large for dtype('float64').
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
12-13 1万+
成功解决ValueError: Input contains NaN, infinity or a value too large for dtype('float64'). 目录 解决问题 解决方法 解决问题 ValueError: Input contains NaN, infinity or a value too large for dtype('floa...
ValueError: Input contains NaN, infinity or a value too large for dtype('float64').
热门推荐
yi976263092的博客
02-22 7万+
问题： 在训练模型 fit(x_train,y_train) 时遇到报错  ValueError: Input contains NaN, infinity or a value too large for dtype('float64')    解决方法： 1、检查数据中是否有缺失值，并做缺失值处理 # 读取数据 train = pd.read_csv('./data/train....
ValueError: Input contains NaN, infinity or a value too large for dtype('float32')
Reikooo
07-20 1万+
背景： 在训练模型 fit(x_train,y_train) 时遇到报错 ValueError: Input contains NaN, infinity or a value too large for dtype('float32')    解决： from sklearn.preprocessing import Imputer df = Imputer().fit_transfo...
Input contains NaN, infinity or a value too large for dtype(‘float64‘).读取的文件中含有大量的空值
xiaohutong1991的专栏
08-05 3万+
一、出错提示 ValueError: Input contains NaN, infinity or a value too large for dtype('float64'). 意思是：读取的文件中含有大量的空值 整个错误提示，一大堆，重点是最后一句！！！ Traceback (most recent call last): File "<input>", line 1, in <module> File "C:\Program Files (x86)\my..
【Python报错已解决】ValueError: cannot convert float NaN to integer
最新发布
鸽芷咕的博客
09-24 1269
在Python编程中，我们经常需要处理各种数据类型，包括浮点数和整数。然而，有时候我们可能会遇到一些意外的情况，比如将一个包含NaN（Not a Number）的浮点数转换为整数时，就会抛出`ValueError: cannot convert float NaN to integer`的错误。这个错误通常发生在我们试图对浮点数进行类型转换时，而这个浮点数包含了NaN值。本文将探讨这个错误的原因，并给出几种可能的解决方案。
ValueError: Input contains NaN, infinity or a value too large for dtype(‘float64‘)
猎人在吃肉
03-11 2342
问题 刚开始学习 sklearn ，运行下面的代码时报错， from sklearn.feature_extraction import DictVectorizer from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer from sklearn.preprocessing import MinMaxScaler,StandardScaler ,Normalizer from sklearn.impute
Input contains NaN, infinity or a value too large for dtype(float64)
weixin_42028930的博客
06-17 1917
今天用BP神经网络跑数据的时候遇到一个小问题，记录一下： 一开始我区分标签和特征参数是用的方式是 #拆分成属性X,标签y test_X= testing_data.drop(columns=['Core Lithology']) test_y = testing_data['Core Lithology'] 运行是报错：Input contains NaN, infinity or a value too large for dtype(‘float64’) 经以下代码检查发现测试数据集在处理的时候出现了
做LR时报错：Input contains NaN, infinity or a value too large for dtype(‘float64’)
GladYouCame
04-01 1427
问题1：做LR时报错： Input contains NaN, infinity or a value too large for dtype(‘float64’) 据未标准化 这是因为当您将sigmoid / logit函数应用于您的假设时，输出概率几乎都是大约0或全1并且使用您的成本函数，log（1 - 1）或log（0）将产生-Inf。 解决此问题的一种方法是在使用梯度下降进行训练之前对...
ValueError:Input X contains infinity or a value too large for dtype('float64
07-12
这个错误通常是由于输入数据中包含无穷大或超出浮点数范围的数值而引起的。要解决这个问题，你可以尝试以下几...如果以上方法都无法解决问题，建议提供更多关于你的具体问题和代码的细节，以便更好地帮助你解决该错误。
成功解决ValueError: Input contains infinity or a value too large for dtype(‘float64‘).
weixin_44737691的博客
07-04 285
个人尝试了很多方法，如异常值替换、数据元素缩放（均缩小10000倍等）均没有成功！使用最大最小归一化对数据进行归一化处理。
sklearn接口报错Input contains NaN, infinity or a value too large for dtype(‘float64‘)
slibra_L的博客
08-11 1万+
1. 错误场景 某个包调用了sklearn接口，在fit(x,y)时报错Input contains NaN, infinity or a value too large for dtype('float64') 2. 错误原因 通过查看/sklearn/utils/validation.py文件，发现有一段这样的代码： if is_float and (np.isfinite(_safe_accumulator_op(np.sum, X))): pass elif
Input contains infinity or a value too large for dtype('float64')
UP Lee博客
11-29 7763
  1 产生情景：数据归一化的时候出现如下警告提醒：   Input contains infinity or a value too large for dtype('float64')   2 产生原因：数据中存在缺失值，需要去除，或者插补。 3 去除方法： 01 在excel里边删除和插补 02 使用python进行处理 具体见：  https://blog.csdn.n...
已解决 ValueError: Input contains NaN, infinity or a value too large for dtype(‘float64‘).问题
猫头虎
09-23 777
在人工智能领域，处理数据是我们日常工作的重要组成部分。然而，在处理实际数据时，我们经常会遇到一些预料之外的问题。本文由猫头虎博主带您深入探讨一个常见的错误——。通过分析错误的根源，提供解决方案，并分享预防此类错误的最佳实践，希望能为您在人工智能的探索道路上提供一点帮助。本文深入探讨了错误的原因和解决方法，并提供了如何避免此类错误的建议。通过对输入数据进行适当的清理和转换，我们可以确保我们的机器学习模型能够顺利运行，从而避免浪费时间和资源来解决此类错误。
ValueError: Input contains NaN, infinity or a value too large for dtype(‘float64‘).
zjl-wgf
06-30 1159
错误提示 "Input contains NaN, infinity or a value too large for dtype('float64')" 表明输入数组中存在非数字（NaN）、无穷大（infinity）或者过大的值，这些值在。：如果发现 NaN 或无穷大的值，您需要决定如何处理这些值。如果您需要进一步的帮助来解决这个问题，您可以提供更多的代码上下文，这样我可以提供更具体的建议。：如果问题仍然存在，您可能需要进一步调试代码，以确定为什么会出现这些值。数组中没有 NaN 或无穷大的值。
解决ValueError: Input contains NaN, infinity or a value too large for dtype(‘float64‘).
qq_44297664的博客
06-07 920
在对数据集进行编码时报错：ValueError: Input contains NaN, infinity or a value too large for dtype(‘float64’).说是数据集中有Nan值，无法对其进行lb.fit_transform（）编码操作，需要对这些缺失值进行处理。② 对缺失值使用均值、中值、众数填充。③ 对缺失值用0值填充。
ValueError: Input contains NaN, infinity or a value too large for dtype(‘float64’).
weixin_47822504的博客
04-18 1万+
问题如上： 问题排查： 1.存在缺失值nan 2：无穷值，无穷大或无穷小，例如log(0)就是一个负无穷的数值，无法处理 3：数值超出了float能表达的范围，无法用float表达 解决办法： 1.处理缺失值 2.处理无穷值 3.处理数据类型 4.重置索引 用如下代码检查缺失值及无穷值情况，执行后无缺失值及无穷值 问题排查可能数据类型出了问题 因数据集删除了不需要的列，故重置数据集索引，并将数据类型强制转换为'float32',运行结果如下 ...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值