failed to query event: CUDA_ERROR_ILLEGAL_INSTRUCTION: an illegal instruction was encountered

报错信息：
Error polling for event status: failed to query event: CUDA_ERROR_ILLEGAL_INSTRUCTION: an illegal instruction was encountered
2022-03-24 23:32:13.170887: F tensorflow/core/common_runtime/gpu/gpu_event_mgr.cc:273] Unexpected Event status: 1

情况描述：
我自定义了一个损失函数

        def amp_loss(y_true, y_pred):  #其实就是幅频特性的损失
            #tf.squeeze先去掉axis=1的维度，因为Computes the 1-dimensional discrete Fourier transform of a real-valued signal over the inner-most dimension of input.
            #tf.signal.rfft做DFT
            #tf.math.abs求幅值
            #tf.expand_dims还原原来的axis=1的维度
            
                amplitude_true = tf.expand_dims(tf.math.abs( tf.signal.rfft(tf.squeeze(y_true))),-1)
                amplitude_pred = tf.expand_dims(tf.math.abs( tf.signal.rfft(tf.squeeze(y_pred))),-1)

                amplitude_loss = tf.math.reduce_mean(tf.math.square(amplitude_true - amplitude_pred))

                return amplitude_loss

报错是在model.fit的时候出现的，考虑是以为损失函数中的某些算术操作我的cuda不支持

1.检查cudnn版本有无问题
像我的笔记本是tensorflow2.2 GPU版本，cudnn好像是7.6.5

我尝试在aws sagemaker studio lab可以运行
上面的是tensorflow-gpu 2.6.2 cudnn=8.2.1

2.尝试使用CPU运行
在import tensorflow as tf 前面
加入

import os

#用CPU跑
os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID"
os.environ["CUDA_VISIBLE_DEVICES"] = "-1"

以及尝试使用

with tf.device('/cpu:0'):

强制模型运行在CPU上，实测无问题。