pandas处理NaN值的方法

        处理数据集中的 NaN 值时，可以采用多种填充方法，具体选择方法取决于数据的性质、缺失值的分布和业务需求。以下是一些常见的填充方法： 

一、均值/中位数/众数填充

        对于数值型变量，可以使用该列的均值、中位数或众数进行填充。这是最简单的填充方法之一，适用于数据分布比较均匀的情况。

    1. 均值填充

• 对于数值型变量，可以使用均值进行填充。

# 导入 pandas 库
import pandas as pd

# 创建示例数据集
data = {'Age': [25, 30, 35, None, 40],
        'Income': [50000, None, 60000, 55000, 70000]}

df = pd.DataFrame(data)

# 使用均值填充 Age 列的 NaN 值
df['Age'].fillna(df['Age'].mean(), inplace=True)

# 结果
print(df)

    2. 众数填充

• 对于类别型变量，可以使用众数进行填充。

# 创建示例数据集
data = {'Gender': ['Male', 'Female', None, 'Male', 'Male']}

df = pd.DataFrame(data)

# 使用众数填充 Gender 列的 NaN 值
df['Gender'].fillna(df['Gender'].mode()[0], inplace=True)

# 结果
print(df)

二、前向/后向填充

        对于时间序列数据，可以使用前一个时间点或后一个时间点的观察值填充。

# 创建示例时间序列数据集
data = {'Date': ['2023-01-01', '2023-01-02', None, '2023-01-04', '2023-01-05'],
        'Value': [10, None, 20, None, 30]}

df = pd.DataFrame(data)

# 使用前一个时间点的观察值填充 Value 列的 NaN 值
df['Value'].fillna(method='ffill', inplace=True)

# 结果
print(df)

 三、 插值填充

        插值是通过已知数据点之间的关系来估计缺失值。可以使用线性插值、多项式插值等方法。

# 使用线性插值填充
df['column_name'].interpolate(method='linear', inplace=True) 

四、常数填充

        可以用特定的常数值填充缺失值，例如零或者其他合适的其他常数值。

# 使用零填充
df['column_name'].fillna(0, inplace=True) 

五、基于条件的填充

        可以根据其他列的值或数据集的特定条件来填充缺失值。

# 根据其他列的值进行填充
df['column_name'].fillna(df['another_column'].mean(), inplace=True) 

六、自定义填充方法

        自定义设计一些自定义的填充策略，例如使用某个模型进行预测填充等。

# 创建示例数据集
data = {'Feature1': [1, 2, 3, None, 5],
        'Feature2': [10, None, 30, 40, 50]}

df = pd.DataFrame(data)

# 自定义填充方法：使用 Feature1 的均值填充 Feature2
mean_value = df['Feature1'].mean()
df['Feature2'].fillna(mean_value, inplace=True)

# 结果
print(df)