【数据处理】python数据清洗通用手法：缺失值处理

最新推荐文章于 2022-08-11 08:53:07 发布

CS正阳

最新推荐文章于 2022-08-11 08:53:07 发布

阅读量957

点赞数 2

分类专栏：项目实战：数据处理文章标签：数据处理 python

本文链接：https://blog.csdn.net/sunyaowu315/article/details/90597234

版权

这篇博客主要针对对数据分析、机器学习感兴趣的读者，介绍了Python进行数据清洗时处理缺失值的通用方法。作者鼓励读者添加微信获取学习资料，并提到了相关社群如机器学习风控、反欺诈和Python学习交流群，以便大家相互学习和共同进步。

摘要由CSDN通过智能技术生成

def missing_delete_var(df, threshold=None):
    """
    df:数据集
    threshold:缺失率删除的阈值

    return :删除缺失后的数据集
    """
    df2 = df.copy()
    missing_df = missing_cal(df)
    missing_col_num = missing_df[missing_df.missing_pct >= threshold].shape[0]
    missing_col = list(missing_df[missing_df.missing_pct >= threshold].col)
    df2 = df2.drop(missing_col, axis=1)
    return df2


def missing_delete_user(df, threshold=None):
    """
    df:数据集
    threshold:缺失个数删除的阈值

    return :删除缺失后的数据集
    """
    df2 = df.copy()
    missing_series = df.isnull().sum(axis=1)
    missing_list = list(missing_series)
    missing_index_list = []
    for i, j in enumerate(missing_list):
        if j >= threshold:
            missing_index_list.append(i)
    df2 = df2[~(df2.index