python pandas数据清洗与操作处理！

我们讨论过数据选择与过滤的相关内容,尤其是在使用 Pandas 进行数据操作时,如何高效地选择和过滤数据.现在我们将重点关注数据清洗与处理,这是数据分析过程中至关重要的一步.

什么是数据清洗？

数据清洗（Data Cleaning）是指对数据进行检测和修正的过程.数据往往会有缺失值、异常值或者不一致的格式,清洗数据的目的是提高数据的质量,使得后续的分析和建模更加准确.

常见的数据清洗步骤：

1. 处理缺失值

2. 处理重复数据

3. 标准化数据格式

4. 处理异常值

5. 数据转换

处理缺失值

在数据集中,缺失值是常见的问题.我们可以通过 Pandas 的 isnull() 方法和 fillna() 方法来处理缺失值.

示例

假设我们有一个关于学生成绩的数据如下：

import pandas as pd

data = {
    '姓名': ['小明', '小红', '小刚', None, '小丽'],
    '数学': [95, 88, None, 70, 85],
    '英语': [None, 82, 76, 90, 95]
}

df = pd.DataFrame(data)
print(df)

输出结果为：

姓名 数学 英语
0 小明 95.0 NaN
1 小红 88.0 82.0
2 小刚 NaN 76.0
3 None 70.0 90.0
4 小丽 85.0 95.0

在这个数据集中,我们可以看到缺失的姓名、数学以及英语分数.我们可以选择删除包含缺失值的行或者用某个特定值填充缺失值.

# 填充缺失值
df['数学'].fillna(df['数学'].mean(), inplace=True)
df['英语'].fillna(df['英语'].mean(), inplace=True)

# 查看填充后的结果
print(df)

输出结果为：

姓名 数学 英语
0 小明 95.0 86.60
1 小红 88.0 82.00
2 小刚 83.00 76.00
3 None 70.0 90.00
4 小丽 85.0 95.00

处理重复数据

有时候,数据集中可能会有重复的行.我们可以使用 duplicated() 方法来查找重复的行,并使用 drop_duplicates() 方法来删除它们.

示例

假设我们的数据集中包含重复记录：

data = {
    '姓名': ['小明', '小红', '小刚', '小明', '小丽', '小红'],
    '数学': [95, 88, 80, 95, 85, 88],
}

df = pd.DataFrame(data)
print("原始数据：")
print(df)

# 查找重复数据
duplicates = df.duplicated()
print("\n重复行：")
print(df[duplicates])

# 删除重复数据
df.drop_duplicates(inplace=True)
print("\n去重后的数据：")
print(df)

输出结果为：

原始数据：
姓名 数学
0 小明 95
1 小红 88
2 小刚 80
3 小明 95
4 小丽 85
5 小红 88
重复行：
姓名 数学
3 小明 95
5 小红 88
重后的数据：
姓名 数学
0 小明 95
1 小红 88
2 小刚 80
4 小丽 85

标准化数据格式

在数据清洗的过程中,有时候我们需要标准化字段的格式,例如日期格式或字符串的大小写.

示例

假设我们的数据集中日期的格式不一致,我们需要将它们转换为统一的格式：

data = {
    '姓名': ['小明', '小红'],
    '生日': ['1990-01-01', '1992/05/15']
}

df = pd.DataFrame(data)

# 标准化日期格式
df['生日'] = pd.to_datetime(df['生日'])
print(df)

输出结果为：

姓名 生日
0 小明 1990-01-01
1 小红 1992-05-15

处理异常值

异常值指的是与其他数据点明显不同的值.我们可以用统计学方法,比如标准差、箱型图等,来识别异常值,并进行处理.

示例

下面的代码展示了如何使用标准差来处理异常值：

data = {
    '分数': [55, 60, 65, 70, 100, 150]  # 150是异常值
}

df = pd.DataFrame(data)

# 计算均值和标准差
mean = df['分数'].mean()
std = df['分数'].std()

# 设置阈值
threshold = 3
outliers = df[(df['分数'] < mean - threshold * std) | (df['分数'] > mean + threshold * std)]

print("异常值：")
print(outliers)

# 删除异常值
df = df[~df['分数'].isin(outliers['分数'])]
print("\n去除异常值后的数据：")
print(df)

输出结果为：

异常值：
分数
5 150
去除异常值后的数据：
分数
0 55
1 60
2 65
3 70
4 100

数据转换

数据转换是指将数据从一种格式转换为另一种格式,通常是在数据分析前的一步.

示例

例如,我们需要将一列的分数从百分制转换为五分制：

data = {
    '姓名': ['小明', '小红', '小刚'],
    '分数': [95, 85, 70]
}

df = pd.DataFrame(data)

# 将分数转换为五分制
df['五分制分数'] = (df['分数'] / 100) * 5
print(df)

输出结果为：

姓名 分数

关于Python学习指南

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

包括：Python激活码+安装包、Python web开发，Python爬虫，Python数据分析，人工智能、自动化办公等学习教程。带你从零基础系统性的学好Python！

点击领取，100%免费！

👉Python所有方向的学习路线👈

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。（全套教程文末领取）

👉Python学习视频600合集👈

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

温馨提示：篇幅有限，已打包文件夹，获取方式在：文末

👉Python70个实战练手案例&源码👈

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉Python大厂面试资料👈

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

👉Python副业兼职路线&方法👈

学好 Python 不论是就业还是做副业赚钱都不错，但要学会兼职接单还是要有一个学习规划。

👉 这份完整版的Python全套学习资料已经上传，朋友们如果需要可以扫描下方CSDN官方认证二维码或者点击链接免费领取【保证100%免费】