Pandas处理缺失数据

---

处理缺失数据

Pandas 提供了一种灵活的方式来处理缺失数据，通常表示为 NaN（Not a Number）。NaN 是浮点数的一种特殊值，用来表示缺失或未定义的数据。在 Pandas 中，缺失数据可以出现在任何数据类型中，不仅仅是浮点数。

缺失数据的表示

• NaN: 表示缺失的浮点数。
• None: 有时在 Python 中用于表示缺失数据，但在 Pandas 中 None 和 NaN 通常被视为等效。

检测缺失数据

• isna(): 检测值是否为缺失。
• notna(): 检测值是否非缺失。

处理缺失数据

• 删除含有缺失值的行或列：
  • dropna(): 删除含有缺失值的行或列。
• 填充缺失值：
  • fillna(): 用特定值或方法（如前向填充、后向填充）填充缺失值。
• 插值：
  • interpolate(): 使用数学方法插补缺失值。
• 计算时排除缺失值：
  • 大多数聚合函数（如 mean(), sum(), prod() 等）都会自动跳过缺失值。

示例代码

以下是一个简单的示例，展示了如何检测和处理缺失数据：

import pandas as pd
import numpy as np

# 创建一个包含缺失值的 DataFrame
data = {
    "col1": [1, 2, np.nan, 4],
    "col2": [np.nan, 6, 7, 8],
    "col3": [9, 10, 11, 12]
}

df = pd.DataFrame(data)

# 检测缺失值
print(df.isna())

# 删除含有缺失值的行
print(df.dropna())

# 填充缺失值
print(df.fillna(0))

# 插值
print(df.interpolate())

输出

   col1  col2  col3
0  False  True False
1  False False False
2   True False False
3  False False False

   col1  col2  col3
1  2.0  6.0  10.0
2  3.0  7.0  11.0
3  4.0  8.0  12.0

   col1  col2  col3
0  1.0  0.0  9.0
1  2.0  6.0  10.0
2  0.0  7.0  11.0
3  4.0  8.0  12.0

   col1  col2  col3
0  1.0  5.0  9.0
1  2.0  6.0  10.0
2  3.0  7.0  11.0
3  4.0  8.0  12.0

总结

Pandas 提供了一系列强大的工具来处理缺失数据，使数据清洗和预处理变得更加简单。通过使用这些工具，你可以轻松地检测、删除或填充缺失值，从而确保数据集的一致性和完整性。