bug修复
专门讲解bug如何修复
ninetyfour
算法
展开
-
TypeError: Cannot interpret ‘<attribute ‘dtype‘ of ‘numpy.generic‘ objects>‘ as a data type
先说解决办法,一般遇到这个问题就是numpy 和 pandas 版本不匹配了,发生的原因是使用pandas 时,内核的方法调用了 numpy,所以解决办法必须是看官方文档把两个版本调整可用的,下图展示的是用 dict生成 dataframe 时,遇到了这个报错。方法1.查看所需版本。原创 2023-08-15 17:37:12 · 367 阅读 · 1 评论 -
【keras bug】Tensor is unhashable if Tensor equality is enabled. Instead, use tensor.experimental_ref(
那么其实你可以检查一下你代码里哪些地方是有问题的,我这段代码的问题在于tf.cast()使用,在TF2.0+执行过程中,其实不需要个人指定tensor的类型,代码可以自动匹配对应类型,需要做的就是删除个人指定的数据类型。当遇到此类问题,首先一点就是版本不兼容问题,那么不兼容的解决办法有哪些呢,第一,升级版本,做到兼容,通常2.0以上是不会遭遇这类问题的。.........原创 2022-07-18 15:59:48 · 522 阅读 · 0 评论 -
keras fit_generator 增加并行度问题 use_multiprocessing
当我们使用use_multiprocessing=True时,其实还要说,同时自定义了generator进行训练,则会造成多线程锁死问题 dead lock训练任务的表现就是卡死,并没有任何报错,GPU启动不起来,或者说启动了,但是几轮epoch之后就锁死了,任务就没有新的日志产出了其根本原因还是keras与tensorflow数据交互时候,多线程不能完美兼容,现在要解决这个问题的方法包括1)适当降低generator的整体数据规模量,目前实验200万时肯定没问题的2)降低度并行,work设置小于4或者直接原创 2022-06-29 09:33:35 · 1098 阅读 · 0 评论 -
keras InvalidArgumentError: 2 root error(s) found. (0) Invalid argument: Inp
ValueError: Cannot reshape a tensor with 2048 elements to shape [64,28,1] (1通常是发生在自定义class时候发生此类问题诸如此类错误,一般有两个情况,reshape操作的时候维度不对,原因有原有shape和新shape维度不匹配 reshape函数初始化后被反复调用,但是每次输入维度不一致...原创 2022-04-29 11:02:25 · 1058 阅读 · 0 评论 -
ValueError: tf.function-decorated function tried to create variables on non-
当你在构建自定义keras类时候,如果call中使用已有的layer,需要在__init__中提前定义比如: def __init__(self, pre_lens=28, window=180, is_teachers=False, name='mul', **kwargs): super(multcn, self).__init__(name=name,**kwargs) self.tcn = TCN( kernel_size=7,原创 2022-04-28 16:12:22 · 843 阅读 · 0 评论 -
PySpark error: AttributeError: 'NoneType' object has no attribute '_jvm'
检查一下是否有from pyspark.sql.functions import *很可能在使用spark udf时,udf里面的python内置函数被spark function给替代了,重新import即可原创 2019-12-17 13:40:15 · 2111 阅读 · 0 评论 -
当函数返回NaN时
如果你使用的是np的函数,那多半发生了0/0或者inf/inf原创 2019-12-17 14:44:15 · 1080 阅读 · 0 评论 -
tensorflow2.0报错:Function call stack:distributed_function
可以明确地说是GPU资源不足,更要声明的是,在使用各类平台提供的jupyter使用GPU时,开启多个tap页面时,由于Tensorflow占用资源机制是有多少就全部占用,那么在没有提前设置资源使用量时,只有第一个开启的才会成功启动,其余的都会造成上述报错可以先关闭所有页面,然后重新启动,并进行如下配置# import tensorflow as tf import osos.environ['CUDA_VISIBLE_DEVICES']="0" # 指定哪块GPU训练config=tf.c原创 2022-04-11 11:05:23 · 1507 阅读 · 0 评论 -
pd.date_range to str or datetime64 to str
当我们使用pd.date_range(start='2020-01-01', end='2020-01-20')时,在pd datafram to rdd to spark dataframe过程中就会遇到类型转换问题pd.date_range(start='2020-01-01', end='2020-01-20').map(lambda x:x.to_pydatetime().strftime('%Y-%m-%d'))一键完成转换...2020-07-24 17:12:57 · 449 阅读 · 0 评论 -
TypeError: unsupported operand type(s) for /: 'NoneType' and 'NoneType'
当你使用spark udf时,进行如下操作@udf(ArrayType(DoubleType()))def listdivision(alist,blist): if (np.array(blist).sum() is None)|(np.array(alist).sum() is None): return None else: resul...原创 2020-01-08 10:32:10 · 8082 阅读 · 0 评论