数据表格合并，清洗

最新推荐文章于 2024-10-05 08:57:27 发布

坠金

最新推荐文章于 2024-10-05 08:57:27 发布

阅读量138

点赞数

分类专栏：数据处理文章标签： python pandas 开发语言

本文链接：https://blog.csdn.net/qq_41413211/article/details/127186649

版权

数据处理专栏收录该内容

23 篇文章 10 订阅 ¥9.90 ¥99.00

订阅专栏

本文介绍了如何使用Python的pandas库进行数据表格的合并，包括左右拼接和基于特定列的合并。同时，讲解了数据清洗的步骤，如检查0值比例、填充0值以及处理极值的方法。

摘要由CSDN通过智能技术生成

表格合并

左右拼接两个表，将data2作为新列并入data1的左侧

data3=pd.concat([data1,data2],axis=1)

合并两个表，若不指定on=***，则根据相同的列来合并。若指定，则按on里的内容合并

df=pd.merge(data1,data2,on=['年份'])

数据清洗

查看0值/占总数据的比例

print(dataframe.isnull().sum()/dataframe.shape[0])

填充0值

dataframe[i]=dataframe[i].fillna(dataframe[i].mean())

去除极值

import numpy as np
def filter_extreme_MAD(dataframe,n=3):
    # MAD:绝对中位差去极值
    for i in dataframe.columns:
        median = dataframe[i].quantile(0.5)
        new_median = ((dataframe[i] - median).abs()).quantile(0.50)
        max_range = median + n * new_median
        min_range = media

了解本专栏