数据分析基础：pandas库是如何过滤空值的

在Pandas中，过滤或处理空值（通常表示为NaN，即“不是一个数字”）是一项常见的数据清洗任务。以下是一些常用的方法来过滤或处理空值：

1. 检查空值

首先，你可以使用isnull()或isna()方法来检查DataFrame中的空值。

import pandas as pd

df = pd.DataFrame({
    'A': [1, 2, None],
    'B': [4, None, 6]
})

# 检查空值
print(df.isnull())

2. 删除含有空值的行或列

使用dropna()方法可以删除含有空值的行或列。

• 删除含有空值的行：

  df.dropna()
  

• 删除含有空值的列：

  df.dropna(axis=1)
  

• 删除所有值都是空值的行或列：

  df.dropna(how='all')
  

3. 填充空值

使用fillna()方法可以将空值替换为某个值或通过其他方式填充。

• 使用特定值填充空值：

  df.fillna(0)
  

• 使用前一个或后一个非空值填充空值：

  df.fillna(method='ffill')  # 前向填充
  df.fillna(method='bfill')  # 后向填充
  

4. 替换空值

使用replace()方法可以将空值替换为其他值。

df.replace({None: 0})

5. 条件过滤

使用布尔索引根据条件过滤空值。

# 选取A列非空的行
df[df['A'].notnull()]

6. 统计空值

使用isnull()或isna()结合sum()方法统计每列的空值数量。

df.isnull().sum()

7. 选择数据

使用布尔索引选择非空的数据。

# 选取B列非空的数据
df[df['B'] > 0]

示例代码

import pandas as pd
import numpy as np

# 创建示例DataFrame
df = pd.DataFrame({
    'A': [1, 2, np.nan],
    'B': [4, np.nan, 6]
})

# 删除含有空值的行
df_dropped = df.dropna()

# 填充空值为0
df_filled = df.fillna(0)

# 用前一个值填充空值
df_ffill = df.fillna(method='ffill')

# 用后一个值填充空值
df_bfill = df.fillna(method='bfill')

# 统计每列的空值数量
null_counts = df.isnull().sum()

在Pandas中处理空值是数据预处理的重要部分，确保数据集的干净和准确性对于后续的数据分析和建模至关重要。