Python数据分析实例

分析案例的数据集为谷歌应用商店的app数据。

首先导入需要的工具numpy,pandas,matplotlib.pyplot

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

pandas读取数据文件

df = pd.read_csv('./Python案例/googleplaystore.csv', usecols=(0, 1, 2, 3, 4, 5,6))

usecols函数表示读取前多少列数据,0到6表示读取7列。不用usecols函数默认读取所有列,本次分析只需用到前7列。

df.head()
预览数据,默认为前五行。

运行结果:

df.describe()
describe函数展示数据的一些描述性统计信息。
默认只输出数值型数据的统计信息。
设置参数为'all'则输入的所有列都在输出中,设置为O则只输出离散型变量的统计信息
df.describe(include='all')

count显示有9367条数据,现在进行一步步数据清洗。

筛选重复数据

Python数据清洗是指使用Python编程语言处理和清理数据集,使其符合分析的要求和标准。下面举一个实例来说明。 假设有一个包含学生考试成绩的数据集,包括学生姓名、学号、科目、成绩等信息,但是该数据集存在一些问题,需要进行清洗。 首先,我们可以使用Python读取数据集,并查看数据的完整性。使用pandas库的read_csv()函数读取数据集,并使用head()函数显示前几行数据,以查看数据的格式和内容。 然后,我们可以检查数据集中的缺失值。使用pandas库的isnull()函数,结合sum()函数来统计每列缺失值的数量,并将其显示出来。如果发现某些数据缺失值过多,可以考虑删除这些缺失值较多的列。 接下来,我们可以检查数据集中是否有重复值。使用pandas库的duplicated()函数来查找并删除重复值。如果发现有重复的数据行,可以使用drop_duplicates()函数来删除这些重复值。 然后,我们可以对异常值进行处理。异常值是指明显偏离其他数据的值,可能是录入错误或者其他原因导致的异常情况。可以使用箱线图或者3σ原则来识别异常值,并将其进行修正或者删除。 最后,我们可以对数据类型进行转换。根据数据集的实际需要,将某些列的数据类型转换为合适的类型。例如,将字符串类型的日期转换为日期类型,将数值型字符串类型转换为浮点型等。 完成以上数据清洗步骤后,我们可以将清洗后的数据保存为新的数据集,以便后续的数据分析使用。 总结起来,Python数据清洗是通过使用Python编程语言和相关库来处理和清洗数据集,使其符合分析要求。清洗的具体步骤包括查看数据完整性、处理缺失值、删除重复值、处理异常值和转换数据类型等。这样清洗后的数据可以更好地用于数据分析和建模。
评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值