第7章 数据清洗和准备
7.1 处理缺失数据
pandas使用浮点值NaN(Not a Number)表示缺失数据,我们称其为哨兵值。
缺失数据处理的函数:
- 滤除缺失数据
对于一个series,dropna返回一个仅含非空数据和索引值的series。data.dropna() = data[data.notnull()]。
对于DataFrame对象,dropna默认丢弃任何含有缺失值的行,传入how=‘all’将只丢弃全为NA的那些行。传入axis=1,如data.dropna(axis=1, how=‘all’)可丢弃列。
用thresh参数实现留下一部分观测数据:
- 填充缺失数据
fillna函数填补缺失数据
fillna函数参数:
7.2数据转换
- 移除重复数据
DataFrame的duplicated方法返回一个布尔型Series