DW_Pandas_Task7缺失数据

知识点整理

一、缺失值统计与删除

1.统计

1）检查单元格是否有缺失值：isna、isnull
2）检查某一列缺失或者非缺失的行：Series的isna、notna进行布尔索引
3）同时对几个列，检索出全部为缺失或者至少有一个缺失或者没有缺失的行：用 isna、notna 和 any、all 的组合

2.删除

dropna 函数
参数理解：
axis：轴方向，默认为0，即删除行
how：删除方式，有 any 和 all 两种参数可以选择
thresh：删除的非缺失值个数阈值
subset：备选的删除子集

二、填充和插值

1.fillna

参数理解：
value：填充值
method：填充方法，用前面的元素填充 ffill 和用后面的元素填充 bfill 两种类型
limit：连续缺失值的最大填充次数

2.插值函数

interpolate 函数
插值方式：
1）线性插值
2）最近邻插值
3）索引插值
常用参数：
limit_direction ：控制方向。默认为 forward，后向或者双向限制插值为 backward 或 both
limit ：控制最大连续缺失值插值个数

三、Nullable类型

1.缺失记号及其缺陷

python：缺失值用 None 表示
numpy：缺失值用 np.nan表示
时间序列的对象：缺失值用 pd.NaT 表示

2.Nullable类型的性质

一般在数据处理时，读入数据集后，先通过 convert_dtypes 转为 Nullable 类型

3.缺失数据的计算和分组

1）sum, prob：缺失数据等价于被分别视作0和1，即不改变原来的计算结果
2）累计函数：会自动跳过缺失值所处的位置
3）进行单个标量运算：除了 np.nan ** 0 、1**np.nan 为确定的值之外，所有运算结果全为缺失，并且 np.nan 在比较操作时返回 False ，而 pd.NA 返回 pd.NA

练习题

假期没有带电脑，无法运行代码和做题，在2021年1月4日补上！

链接: DW_Pandas.