数据预处理-----数据清洗

最新推荐文章于 2024-08-22 09:55:12 发布

小张小张永远不慌

最新推荐文章于 2024-08-22 09:55:12 发布

阅读量1.1k

点赞数

分类专栏： Python数据分析

本文链接：https://blog.csdn.net/weixin_42871236/article/details/104536524

版权

本文介绍了数据清洗过程中的关键步骤，包括处理重复值、缺失值和异常值。针对重复值，使用了`df.drop_duplicates()`函数进行去除；对于缺失值，介绍了`isnull()`函数来检测，并讲解了删除法和替换法（如`fillna()`）；异常值部分，讨论了标准差法和箱线图法的判定，并提及了异常值的替换策略。

摘要由CSDN通过智能技术生成

数据清洗主要处理三类值：重复值、缺失值以及异常值。

重复值：

重复值的处理主要用到了drop_duplicates()函数,该函数适用DataFrame格式的数据，去除特定列下面的重复行。返回DataFrame格式的数据。

函数：

df.drop_duplicates(subset=None, keep=‘first’, inplace=False)

参数说明：

subset : column label or sequence of labels, optional
用来指定特定的列，默认所有列

keep : {‘first’, ‘last’, False}, default ‘first’
删除重复项并保留第一次出现的项

inplace : boolean, default False
是直接在原来数据上修改还是保留一个副本

1.df.drop_duplicates() 不指定任何参数
在这里插入图片描述
2.df.drop_duplicates(subset=[‘one’]) 指定subset参数