利用python进行数据清洗

在做数据分析之前,我们首先要明确数据分析的目标,然后应用数据分析的思维,对目标进行细分,再采取相应的行动。

我们可以把数据分析细分为以下 8 个步骤:

(1)读取
(2)清洗
(3)操作
(4)转换
(5)整理
(6)分析
(7)展现
(8)报告
下面我们用一副待清洗的扑克牌作为示例,假设它保存在代码文件相同的目录下,在 Jupyter Lab 环境中运行以下代码:

import numpy as np
import pandas as pd

# 设置最多显示 10 行
pd.set_option('max_rows', 10)

# 从 Excel 文件中读取原始数据
df = pd.read_excel(
    '待清洗的扑克牌数据集.xlsx'
)

df

在这里插入图片描述
这幅待清洗的扑克牌数据集,有一些异常情况,包括:大小王的花色是缺失的,有两张重复的黑桃♠️ A,还有一张异常的黑桃♠️ 30。

1. 如何查找异常?

在正式开始清洗数据之前,往往需要先把异常数据找出来,观察异常数据的特征,然后再决定清洗的方法。

# 查找「花色」缺失的行
df[df.花色.isnull()]

在这里插入图片描述

# 查找完全重复的行
df[df.duplicated()]

在这里插入图片描述

# 查找某一列重复的行
df[df.编号.duplicated()]

在这里插入图片描述

# 查找牌面的所有唯一值
df.牌面.unique()
返回结果:
array(['大王', '小王', 'A', '30', 4, 5, 6, 7, 8, 9, 10, 'J', 'Q', 'K', 2, 3], dtype=object)

根据常识可以判断,牌面为 30 的是异常值。
# 查找「牌面」包含 30 的异常值
df[df.牌面.isin(['30'])]

在这里插入图片描述

# 查找王牌,模糊匹配
df[df.牌面.str.contains(
    '王', na=False
)]

在这里插入图片描述

# 查找编号在 1 到 5 之间的行
df[df.编号.between(1, 5)]

在这里插入图片描述查找某个区间,也可以用逻辑运算的方法来实现:

# 查找编号在 1 到 5 之间的行
df[(df.编号 >= 1)
   & (df.编号 <= 5)]

其中「 & 」代表必须同时满足两边的条件,也就是「且」的意思。
还可以用下面等价的方法:

# 查找编号在 1 到 5 之间的行
df[~((df.编号 < 1)
     | (df.编号 > 5))]

其中「 | 」代表两边的条件满足一个即可,也就是「或」的意思,「 ~ 」代表取反,也就是「非」的意思。

2. 如何排除重复?
使用 drop_duplicates() 函数,在排除重复之后,会得到一个新的数据框。

# 排除完全重复的行,默认保留第一行
df.drop_duplicates()

返回结果如下:
在这里插入图片描述
如果想要改变原来的数据框,有两种方法,一种方法,是增加 inplace 参数:

# 排除重复后直接替换原来的数据框
df.drop_duplicates(
    inplace=True
)

另一种方法,是把得到的结果,重新赋值给原来的数据框:

# 排除重复后,重新赋值给原来的数据框
df = df.drop_duplicates()

如果想要按某一列排除重复的数据,那么指定相应的列名即可。

# 按某一列排除重复,默认保留第一行
df.drop_duplicates(['花色'])

在这里插入图片描述如果想要保留重复的最后一行,那么需要指定 keep 参数。

# 按某一列排除重复,并保留最后一行
df.drop_duplicates(
    ['花色'], keep='last'
)

在这里插入图片描述从上面两个返回结果的编号可以看出,不同方法的差异情况。

3. 如何删除缺失?

使用 dropna() 函数,默认删除包含缺失的行。为了更加简单易懂,我们用扑克牌中不重复的花色作为示例。

# 不重复的花色
color = df.drop_duplicates(
    ['花色']
)

color

在这里插入图片描述

# 删除包含缺失值的行
color.dropna()

在这里插入图片描述如果想要删除整行全部为空的行,那么需要指定 how 参数。

# 删除全部为空的行
color.dropna(how='all')

在这里插入图片描述如果想要删除包含缺失值的列,那么需要指定 axis 参数。

# 删除包含缺失值的列
color.dropna(axis=1)

在这里插入图片描述
可以看到,包含缺失值的「花色」这一列被删除了。

4. 如何补全缺失?
使用 fillna() 函数,可以将缺失值填充为我们指定的值。

# 补全缺失值
color.fillna('Joker')

在这里插入图片描述可以看到,原来的 NaN 被填充为 Joker,在实际工作的应用中,通常填充为 0,也就是说, fillna(0) 是比较常见的用法。

如果想要使用临近的值来填充,那么需要指定 method 参数,例如:

# 用后面的值填充
color.fillna(method='bfill')

在这里插入图片描述可以看到,原来第一行的 NaN 替换成了第二行的「黑桃♠️」。

其中 method 还有一些其他的可选参数,详情可以查看相关的帮助文档。

还有一种按字典填充的方法。为了让下面的演示更加直观易懂,我们先把索引为 2 的牌面设置为缺失值:

# 为了演示,先指定一个缺失值
color.loc[2, '牌面'] = np.nan

color

在这里插入图片描述

# 按列自定义补全缺失值
color.fillna(
    {'花色': 0, '牌面': 1}
)

在这里插入图片描述可以看出,不同列的缺失值,可以填充为不同的值,花色这一列填充为 0,牌面这一列填充为 1,我在图中分别用红色的方框标记出来了。

5. 应用案例

下面我们用 Python 代码,把这幅待清洗的扑克牌数据集,变成一副正常的扑克牌数据。

import numpy as np
import pandas as pd

# 设置最多显示 10 行
pd.set_option('max_rows', 10)

# 从 Excel 文件中读取原始数据
df = pd.read_excel(
    '待清洗的扑克牌数据集.xlsx'
)

# 补全缺失值
df = df.fillna('Joker')

# 排除重复值
df = df.drop_duplicates()

# 修改异常值
df.loc[4, '牌面'] = 3

# 增加一张缺少的牌
df = df.append(
    {'编号': 4,
     '花色': '黑桃♠',
     '牌面': 2},
    ignore_index=True
)

# 按编号排序
df = df.sort_values('编号')

# 重置索引
df = df.reset_index()

# 删除多余的列
df = df.drop(
    ['index'], axis=1
)

# 把清洗好的数据保存到 Excel 文件
df.to_excel(
    '完成清洗的扑克牌数据.xlsx',
    index=False
)

df

返回结果如下:
在这里插入图片描述
可以看到,我们已经成功地把它变成了一副正常的扑克牌数据。

如果你想要获取本文的案例数据,请前往林骥的公众号后台回复「清洗」。

  • 15
    点赞
  • 107
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
### 回答1: 利用Python进行数据分析,首先需要准备数据集。数据集可以来源于多种途径,比如网页爬取、数据库查询、文件导入等等。在数据集准备好后,就可以通过Python中的数据分析库进行数据的处理和分析。 Python中最常用的数据分析库是Pandas和Numpy。Pandas提供了丰富的数据结构和数据处理函数,可以对数据进行清洗、过滤、转换等操作。Numpy是Python中的数值计算库,提供了大量的数学和统计函数,可以方便地进行数据分析和计算。 首先,我们可以使用Pandas将数据集导入到Python中。Pandas提供了多种数据导入函数,比如read_csv、read_excel等,可以根据数据集的格式选择合适的函数进行导入。 导入数据后,我们可以使用Pandas对数据进行初步的处理和探索。比如查看数据的基本信息,包括数据的列名、数据类型、缺失值等。可以使用head()函数查看数据的前几行,使用describe()函数查看数据的统计特征。 接下来,我们可以使用Pandas和Numpy进行数据清洗和转换。比如,对于缺失值可以选择删除或填充;对于异常值可以选择删除或修复;可以进行数据类型的转换;可以进行数据的标准化或归一化等。 之后,我们可以使用Pandas和Numpy进行数据分析。比如,使用groupby()函数进行数据分组和聚合,使用plot()函数进行数据可视化,使用统计函数进行数据分析等。还可以使用其他的数据分析库,比如Matplotlib和Seaborn进行高级的数据可视化。 最后,我们可以使用Python中的其他库进行更深入的数据分析。比如,可以使用Scikit-learn进行机器学习模型的建立和训练;可以使用TensorFlow进行深度学习模型的开发和调优等。 总之,利用Python进行数据分析需要先导入数据集,然后使用Pandas和Numpy进行数据处理和转换,最后使用其他的数据分析库进行更深入的数据分析。Python提供了丰富的数据分析工具和库,可以满足各种需求。 ### 回答2: 利用Python进行数据分析有许多方法和技术,以下是一些常用的数据分析工具和技巧。 首先,Python有很多强大的数据分析库,如NumPy、Pandas和Matplotlib。NumPy提供了高效的数值计算工具,可以进行向量化操作和高性能的数组处理。Pandas是一个用于数据结构和数据分析的库,可以方便地进行数据清洗、处理和操作。Matplotlib则是一个用于画图和可视化的库,可以将数据可视化为柱状图、散点图等。 其次,Python提供了很多统计学方法和技术,如描述统计、假设检验和回归分析等。使用Python进行描述统计可以计算数据的中心趋势和离散程度,如均值、中位数和标准差;使用假设检验可以检验数据之间是否存在显著差异;使用回归分析可以探索变量之间的关系和预测结果。 另外,Python还提供了机器学习算法和工具,如线性回归、决策树和聚类等。机器学习是一种通过训练数据来建立模型并进行预测的方法,可以用来解决分类、回归和聚类等问题。Python中的一些机器学习库如Scikit-learn和TensorFlow,提供了丰富的机器学习算法和工具,方便进行数据挖掘和预测分析。 最后,Python还有一些数据分析的框架和平台,如Jupyter Notebook和Anaconda。Jupyter Notebook是一个交互式的数据分析环境,可以通过代码、文字和图像组合成一个文档,方便数据分析的展示和共享。Anaconda是一个Python科学计算的发行版,集成了许多常用的数据分析库和工具,方便安装和管理。 综上所述,利用Python进行数据分析可以通过强大的数据分析库、统计学方法和技术、机器学习算法和工具以及数据分析的框架和平台来实现。Python的简洁易学、丰富的库和工具生态系统,使其成为数据分析的首选语言之一。 ### 回答3: 利用Python进行数据分析有很多优点,首先Python是一种开源的编程语言,具有用户友好的语法和丰富的数据处理工具包,如NumPy、Pandas和Matplotlib等。这些工具使我们能够高效地处理和分析大量数据。 在进行数据分析时,首先需要加载数据集。Python提供了多种数据加载和处理方法,例如可以使用`pandas`库中的`read_csv()`函数加载CSV文件,或者使用`pandas`的`read_excel()`函数加载Excel文件。这样我们就可以在Python中轻松地获取数据集了。 一旦数据集被加载,我们就可以使用Python进行各种数据分析任务。例如,我们可以使用`pandas`库来清洗和处理数据,如删除重复数据、处理缺失值、拆分或组合列等。`pandas`还提供了各种统计函数,如求和、均值、中位数等,方便我们对数据集进行描述性统计分析。 除了`pandas`外,Python还有其他强大的数据分析库,如`NumPy`和`SciPy`,它们提供了许多数学和科学计算函数,可以用于进行数据预处理、聚类分析、回归分析等。 在数据分析中,可视化也是非常重要的一部分。Python的`Matplotlib`和`Seaborn`库提供了丰富的数据可视化工具,我们可以使用这些库来创建直方图、散点图、条形图等各种图表,以便更好地理解和展示数据。 总之,利用Python进行数据分析可以帮助我们更高效地处理和分析大量数据,并且通过可视化工具可以更好地展示分析结果。无论是学术研究还是商业决策,Python都是一个非常强大的工具。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值