python 快速替换Numpy 中的Nan（空值）和inf （无限值）

刘西北

于 2021-03-18 20:19:26 发布

阅读量9.2k

点赞数 7

文章标签： python numpy 矩阵机器学习算法

本文链接：https://blog.csdn.net/qq_32442683/article/details/114989343

版权

python 快速替换Numpy 中的Nan（空值）和inf （无限值）

在做数据处理的时候由于要保证数据的个数不变，需要把数据中的空值和无穷值替换为指定的值（此处为255），考虑到数据量比较大（50000000条数据），效率也是一个考虑因素。
下面主要给出了替换数据的核心代码。

# +--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+
print('Predict New Data......')
start = datetime.datetime.now()

dataPre = input_Data   # 此处输入需要处理的原始数据

# 0: 00:23.012951  标记了这个方法的时间（以50000000条数据为例）
dataPre0 = np.array(dataPre)
dataPre0[np.isnan(dataPre0)] = 255
dataPre0[np.isinf(dataPre0)] = 255

# 0:02:03.038840
dataPre1 = (dataPre)
dataPre1 = dataPre1.replace([np.inf, -np.inf], np.nan)
dataPre1 = dataPre1.fillna(value = 255)

# 0:02:03.140287
dataPre2 = (dataPre)
dataPre2 =