Pandas统计分析基础(使用分组聚合进行组内计算,数据预处理)

Pandas统计分析基础(使用分组聚合进行组内计算,数据预处理)

分组聚合组内计算

1、groupby进行数据拆分

groupby能够根据字段或者索引对数据分组处理。
在这里插入图片描述
在这里插入图片描述
groupby 分组后的数据对象类似于DataFrame,也是Pandas提供的一组数据对象,这类主要方法有:
在这里插入图片描述

2、使用agg进行数据聚合

在这里插入图片描述
agg参数如下:

  • func :接收list、dict、function。表示应用于每行每列的函数。无默认
  • axis:接收0或1.代表操作的轴向。默认为0

例1:获取传感器数据中温湿度数据的均值和方差:

print(data[['Temp','Wet']].agg([np.mean,np.std]))

例2:获取传感器数据中温度数据的均值和湿度数据的方差:

print(data.agg({'Temp':np.mean,'Wet':np.std}))

例3:获取传感器数据中温度数据的均值和湿度数据的均值和方差:

print(dada.agg({'Temp':np.mean,'Wet':[np.mean,np.std]}))

在这里插入图片描述

3、使用apply进行数据聚合

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

数据预处理

在这里插入图片描述
数据的合并包括:

  • 数据堆叠
  • 主键合并
  • 重叠合并

数据堆叠

在这里插入图片描述
在这里插入图片描述

result = pd.concat([df1,df4], axis=1)
# 参数axis=1表示横向堆叠
  • 1
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用pandas作为Python中最流行的数据分析库之一,可以对数据进行方便高效的预处理。以下是pandas进行数据预处理的一些常见操作: 1. 数据导入和读取:pandas可以读取多种格式的文件,如CSV、Excel、SQL数据库等。使用pandas的read_XXX函数可以快速导入数据到DataFrame对象中。 2. 数据清洗:pandas可以对数据进行清洗,处理缺失值、异常值等问题。使用dropna函数可以删除缺失值所在的行或列,使用fillna函数可以填充缺失值。通过isnull和notnull函数可以判断数据是否缺失。 3. 数据转换:pandas提供了强大的数据转换功能,可以对数据进行排序、过滤、重命名、重索引等操作。可以使用sort_values函数对数据进行排序,使用filter函数进行数据筛选,使用rename函数重命名列名,使用reset_index函数重置索引。 4. 数据合并:pandas可以将多个数据进行合并,使用merge函数可以根据一个或多个键将不同数据集中的数据连接到一起,使用concat函数可以按照指定的轴将多个数据进行拼接。 5. 数据转换:pandas可以对数据进行转换,包括通过apply函数对数据进行自定义函数的计算使用cut和qcut函数进行数据离散化和分箱处理,使用get_dummies函数将分类变量转换为哑变量编码。 6. 数据统计聚合pandas提供了丰富的统计聚合函数,可以对数据进行统计描述和聚合操作。包括mean、sum、count、min、max等函数,可以对数据进行分组统计。 通过以上常见操作,pandas可以有效地对数据进行预处理,为后续的数据分析和建模提供清洁和合适的数据。由于其简洁且易于使用的API,使得数据预处理变得更加高效和灵活。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值