【python】pandas数据清洗(三)：修剪(Trimming)与顶底处理(Capping)详解

在数据分析和数据科学项目中，数据清洗是不可或缺的步骤，其目的是提高数据质量，使数据更加准确、一致和可靠。在数据清洗的过程中，处理极端值（也称为异常值或离群点）是一项关键任务。极端值可能是由测量误差、数据录入错误、系统故障或其他非正常情况导致的。这些值可能会扭曲数据分析的结果，因此需要特别注意。本文将持续介绍数据清洗的技巧。

修剪(Trimming)
修剪是指直接从数据集中移除那些被识别为异常值的数据点。这种策略通常适用于数据集足够大，以至于删除少数几个极端值不会对总体统计特性产生显著影响的情况。修剪的过程可以分为以下几个步骤：

1. 定义阈值：首先，需要确定一个阈值来界定何为异常值。这可以通过统计学方法实现，比如使用Z-score（标准分数）、IQR（四分位数间距）或其他统计度量。
2. 识别异常值：使用所选的阈值来标识哪些数据点被视为异常值。
3. 移除异常值：一旦识别出异常值，就可以将其从数据集中移除。这通常涉及到修改数据集，使其不再包含这些值。

顶底处理(Capping)
顶底处理（或称截断）是指将异常值替换为某个阈值内的值，而不是完全删除它们。这种方法适用于不能简单丢弃数据点的情况，因为数据集可能较小，或者异常值的数量较大，删除它们会显著改变数据分布。顶底处理的步骤包括：

1. 定义上限和下限：同样，需要确定一个合理的上限和下限，所有高于上限或低于下限的值都将被替换。
2. 替换异常值：将识别出的异常值替换为上限或下限值。例如，如果上限是100，那么所有大于100的值都将被设为100；同样，如果下限是0，那么所有小于0的值都将被设为0。

准备工作

首先，我们需要导入必要的库，并创建一个数据集。我们将使用numpy生成一些随机数据，并故意引入一些极端值作为异常值。

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from scipy import stats

# 设置随机种子以保证结果的可复现性
np.random.seed(42)

# 创建一个数据集
data = np.random.normal(loc=50, scale=10, size=1000)  # 正态分布数据
data = np.append(data, np.array([200, -200]))  # 添加极端值

# 转换为DataFrame
df = pd.DataFrame(data, columns=['Value'])

数据探索

在进行数据清洗之前，先对数据进行可视化检查，了解数据分布。

# 数据分布直方图
df['Value'].hist(bins=50)
plt.title('Original Data Distribution')
plt.show()

修剪(Trimming)实操

接下来，我们使用Z-Score来识别异常值，并将其从数据集中移除。

# 计算Z-Score
z_scores = stats.zscore(df['Value'])

# 定义修剪阈值
threshold = 3

# 移除Z-Score绝对值大于阈值的数据点
trimmed_df = df[(np.abs(z_scores) <= threshold)]

# 检查修剪后的数据分布
trimmed_df['Value'].hist(bins=50)
plt.title('Trimmed Data Distribution')
plt.show()

顶底处理(Capping)实操

顶底处理涉及将异常值替换为数据集中的特定值，通常是上限或下限。

# 定义上限和下限
upper_limit = df['Value'].quantile(0.99)
lower_limit = df['Value'].quantile(0.01)

# 进行顶底处理
capped_df = df.copy()
capped_df['Value'] = capped_df['Value'].clip(lower_limit, upper_limit)

# 检查顶底处理后的数据分布
capped_df['Value'].hist(bins=50)
plt.title('Capped Data Distribution')
plt.show()

直接删除或替换极端值的考虑因素

• 数据集大小：如果数据集很大，删除少量的异常值可能不会对总体分析造成太大影响。
• 异常值数量：如果异常值占比较大，删除它们可能会导致数据集失真，这时顶底处理可能是更好的选择。
• 异常值的性质：如果是由于测量错误造成的异常值，删除可能是合适的；但如果异常值代表了真实但罕见的事件，那么可能需要保留它们，并采用顶底处理。