python缺失值类型与分析_Pandas中缺失值的相关概念与处理方法总结

Pandas中缺失值的相关概念与处理方法总结

摘要：本篇总结了Pandas中缺失值的相关概念、原理及处理方法，旨在帮助学习者快速搭建知识框架、更好地理解各类缺失值的含义，因而对于一些具体操作并未详细演示。请配合Datewhale社区的Joyful Pandas教材或其他Pandas教材练习相关函数的具体操作，效果更佳。发现-分析-处理三个步骤。

一、发现缺失值

1、isna和notna方法

2、isnull和notnull方法

两种方法结果相同。

例：

#返回数据框列缺失个数和比例的信息(将DF替换为数据框名即可)

num_missing = np.sum(DF[DF.columns].isnull()).sort_values(ascending=False)

pct_missing = np.mean(DF[DF.columns].isnull()).sort_values(ascending=False)

missing = pd.DataFrame({'num_missing' : num_missing,

'pct_missing' : pct_missing})

missing

找出缺失值之后，可以进行缺失值探索分析，如计算列缺失情况、行缺失情况等并做一些可视化的分析。

如果某行或者列缺失数据过多，包含信息很少，可以直接删除此实例或者特征。否则，就要进行填充或者插补等进一步处理。

二、 Pandas中的三种缺失符号

1、np.nan(最常见)，在pandas中显示为NaN

Pandas 里处理缺失值的方式延续了 NumPy 程序包的方式，并没有为浮点