使用numpy和pandas判断缺失值

本文主要介绍用numpy和pandas检查ndarray中是否存在缺失值的方法以及运行时间(缺失值的表示方式为np.nan)

import numpy as np
import pandas as pd
# 随机初始化一个(100, 100)的数组
data = np.random.rand(100, 100)
# 随机将100个位置置为np.nan
for i in range(100):
	x = np.random.choice(100)
	y = np.random.choice(100)
	data[x][y] = np.nan

对于上述这种数值型的ndarray，得到每一个位置是否为np.nan的方法主要有以下几种

np.isnan(data)
pd.isna(data)
pd.isnull(data)

三个方法的返回值都是一个大小和data相同的布尔类型的数组，表示每个位置是否为np.nan，以np.isnan方法为例

可以发现，numpy的方法要快于pandas的两种方法

如果我们想知道数组的每一行或者数组的每一列是否有缺失值

# 每一列
np.isnan(data).any(axis=0)
# 每一行
np.isnan(data).any(axis=1)

如果想知道每一行，每一列或者总缺失值的数量

# 每一列
np.isnan(data).sum(axis=0)
# 每一行
np.isnan(data).sum(axis=1)
# 总体
np.isnan(data).sum()