python替换缺失值_详解Pandas 处理缺失值指令大全

前言

运用pandas 库对所得到的数据进行数据清洗，复习一下相关的知识。

1 数据清洗

1.1 处理缺失数据

对于数值型数据，分为缺失值(NAN)和非缺失值，对于缺失值的检测，可以通过Python中pandas库的Series类对象的isnull方法进行检测。

对于缺失值，除了np.nan来表示，还可以用None来表示缺失值

1.2 滤除掉缺失数据

1.2.1 对于Series

使用dropna方法将NAN的数据过滤掉。

另一种方法是使用布尔值索引对NAN数据进行过滤：

1.2.2 对于DataFrame

dropna()方法对于DataFrame的数据来说，会将含有NAN数据的行全部扔掉。

如果只想删除掉那些行中全部为NAN数据的DataFrame，通过设置dropna()方法中的参数how即可。

如果操作对象变为列,代码如下：

如果想留下其中的一部分数据，则可以设置thresh参数：

thresh = n,参数n相当于保留至少含有n个非NA的行

1.3 填充缺失数据

fillna(n),n替换掉NA

如果填充格式是字典，fillna({0:n1,1:n2}),将列0的NA填充为 n1,将列1的NA填充为 n2。

直接填充df的NA值，直接改变df,不需要命名新的变量。

2 数据转换

2.1 移除重复数据

返回的是每一行的重复结果，不重复是False,重复是True。

如果要去除重复的行，代码如下：

如果操作对象为列࿰