缺失值处理

本文介绍了一种处理数据集中缺失值的有效方法,包括删除和填充两种主要策略。删除策略分为按行或按列删除缺失比例过高的数据;填充策略则通过预定义的值来填补缺失的数据。这些方法适用于数据预处理阶段,有助于提高数据质量。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

###############################缺失值处理##################################
### 删除缺失值
def Delete_null_rows(df,thresh):
    '''
    只保留至少有num个非NAN值的行
    '''
    if thresh == 0 :
        df.dropna(inplace=True)
    elif thresh > 0 :
        df.dropna(thresh=thresh,inplace = True)
    else:
        pass
    return df

def Delete_null_rate_row(df,row_rate):
    '''
    对于某一行,其特征值缺失达到指定比例及以上,将该行删除
    :param df: 原始数据集
    :param rate: 特征值的缺失比例
    :return: 处理后的数据集
    '''
    rows = len( df.index )
    for i in range(rows):
        row_null_rate = list(df.loc[i,:].isnull()).count(True)/len(list(df.loc[i,:].isnull()))
        if row_null_rate >= row_rate:
            print("删除第 %d 行" % i,'\n' )
            df.drop(i,inplace=True)
    df.reset_index(drop=True,inplace=True)
    return df

def Delete_null_rate_column(df,col_rate):
    '''
    对某一列,如果某一列的特征值缺失达到指定比例,则删除该列特征
    :param df: 原数据集
    :param col_rate: 指定列的缺失比例
    :return: 返回处理后的数据集
    '''
    rows = len( df.index )
    columns = len(df.columns)
    for j in range(columns):
        col_null_rate = list(df[j].isnull()).count(True)/rows
        if col_null_rate >= col_rate:
            df.drop([j],axis=1,inplace=True)
    return df


### 填补缺失值
def Fill_null(df,dict):
    '''
    不同的列存入不同的值,或者,给所有缺失值存入某个值
    '''
    df.fillna(dict,inplace=True)
    return df

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值