处理数据集中的 NaN 值时,可以采用多种填充方法,具体选择方法取决于数据的性质、缺失值的分布和业务需求。以下是一些常见的填充方法:
一、均值/中位数/众数填充
对于数值型变量,可以使用该列的均值、中位数或众数进行填充。这是最简单的填充方法之一,适用于数据分布比较均匀的情况。
1. 均值填充
- 对于数值型变量,可以使用均值进行填充。
# 导入 pandas 库
import pandas as pd# 创建示例数据集
data = {'Age': [25, 30, 35, None, 40],
'Income': [50000, None, 60000, 55000, 70000]}df = pd.DataFrame(data)
# 使用均值填充 Age 列的 NaN 值
df['Age'].fillna(df['Age'].mean(), inplace=True)# 结果
print(df)
2. 众数填充
- 对于类别型变量,可以使用众数进行填充。
# 创建示例数据集
data = {'Gender': ['Male', 'Female', None, 'Male', 'Male']}df = pd.DataFrame(data)
# 使用众数填充 Gender 列的 NaN 值
df['Gender'].fillna(df['Gender'].mode()[0], inplace=True)# 结果
print(df)
二、前向/后向填充
对于时间序列数据,可以使用前一个时间点或后一个时间点的观察值填充。
# 创建示例时间序列数据集
data = {'Date': ['2023-01-01', '2023-01-02', None, '2023-01-04', '2023-01-05'],
'Value': [10, None, 20, None, 30]}df = pd.DataFrame(data)
# 使用前一个时间点的观察值填充 Value 列的 NaN 值
df['Value'].fillna(method='ffill', inplace=True)# 结果
print(df)
三、 插值填充
插值是通过已知数据点之间的关系来估计缺失值。可以使用线性插值、多项式插值等方法。
# 使用线性插值填充
df['column_name'].interpolate(method='linear', inplace=True)
四、常数填充
可以用特定的常数值填充缺失值,例如零或者其他合适的其他常数值。
# 使用零填充
df['column_name'].fillna(0, inplace=True)
五、基于条件的填充
可以根据其他列的值或数据集的特定条件来填充缺失值。
# 根据其他列的值进行填充
df['column_name'].fillna(df['another_column'].mean(), inplace=True)
六、自定义填充方法
自定义设计一些自定义的填充策略,例如使用某个模型进行预测填充等。
# 创建示例数据集
data = {'Feature1': [1, 2, 3, None, 5],
'Feature2': [10, None, 30, 40, 50]}df = pd.DataFrame(data)
# 自定义填充方法:使用 Feature1 的均值填充 Feature2
mean_value = df['Feature1'].mean()
df['Feature2'].fillna(mean_value, inplace=True)# 结果
print(df)