数据大清洗_Pandas库进阶（Pandas聚合查询）（Pandas透视表与交叉表）

最新推荐文章于 2024-04-09 23:32:59 发布
最新推荐文章于 2024-04-09 23:32:59 发布
阅读量1.2k 收藏 5
点赞数 4
分类专栏： python之数据大清洗 文章标签： 列表 python 数据分析 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/raojiaxing_/article/details/106796726
版权

目录

一、Pandas聚合查询

在这里插入图片描述

1.使用 groupby 方法进行分组聚合

1、分组

参数说明：
在这里插入图片描述
在这里插入图片描述
groupby 方法的参数及其说明——by 参数的特别说明：

	 如果传入的是一个函数则对索引进行计算并分组。
	 如果传入的是一个字典或者 Series，则字典或者 Series 的值用来做分组依据。 
	 如果传入一个 NumPy 数组，则数据的元素作为分组依据。
	 如果传入的是字符串或者字符串列表，则使用这些字符串所代表的字段作为分组依据。

2、聚合

用 groupby 方法分组后的结果并不能直接查看，而是被存在内存中，输出的是内存地址。 实际上分组后的数据对象 groupby 类似 Series 与 DataFrame，是 pandas 提供的一种对象。
在这里插入图片描述
代码实现：

# 分组聚合--->按照一定的规则进行分组，在各组内统计指标--->自动合并
# 如何分组？？？    # 统计指标？？
# groupby ---by来指定分组
# 常用指标：max min std mean head count ...
import pandas as pd
import numpy as np

# 构造一个行索引
index = ['stu_' + str(i) for i in range(12)]

# 创建一个df来对它进行分组聚合
df = pd.DataFrame(
    data={
        'cls_id': ['A', 'A', 'A', 'A', 'A', 'A', 'B', 'B', 'B', 'B', 'B', 'B'],
        'group_id': [1, 1, 1, 2, 2, 2, 1, 1, 1, 2, 2, 2],
        'name': ['zs', 'ls', 'ww', 'zl', 'xx', 'uu', 'yy', 'kk', 'ii', 'oo', 'zz', 'qq'],
        'height': [178.0, 182.0, 175.5, 168.0, 152.0, 169.0, 173.5, 180.5, 156.5, 172.0, 190.0, 192.0],
        'score': [98, 96, 85, 87, 88, 65, 60, 92, 59, 87, 62, 88]
    },
    index=index
)
print('df:\n', df)
print('df的类型：\n', type(df))
print('*' * 100)

# 按照班级 进行分组，统计每个班级的学员身高的最大值
# 按照单列进行分组，统计组内的最大值
# res = df.groupby(by='cls_id')['height'].max()
# print('res:\n', res)

#  cls_id
# A    182.0
# B    192.0
# Name: height, dtype: float64


# 按照班级进行分组，统计各个班级的身高、成绩平均值
# 按照单列进行分组，统计多列的指标
# res = df.groupby(by='cls_id')[['height', 'score']].mean()
# print('res:\n', res)

# res:
#              height      score
# cls_id
# A       170.750000  86.500000
# B       177.416667  74.666667


# # 按照班级、小组的学员的身高的最大值
# # 按照多列进行分组，统计单列指标
# res = df.groupby(by=['cls_id', 'group_id'])['height'].max()
# print('res:\n', res)
# print('res的类型：\n', type(res))  # <class 'pandas.core.series.Series'>
#
# # res:
# #  cls_id  group_id
# # A       1           182.0
# #         2           169.0
# # B       1           180.5
# #         2           192.0
# # Name: height, dtype: float64
#
# print('res的行索引：\n',res.index)  # MultiIndex



# 按照班级、小组分组，统计各组内学员身高、成绩的max
# res = df.groupby(by=['cls_id', 'group_id'])[['height', 'score']].max()
# print('res:\n', res)
# print('res的类型：\n', type(res))  # <class 'pandas.core.frame.DataFrame'>
#
# # res:
# #                   height  score
# # cls_id group_id
# # A      1          182.0     98
# #        2          169.0     88
# # B      1          180.5     92
# #        2          192.0     88
#
# print('res的行索引：\n', res.index)  # MultiIndex



# 先按照小组分组、再按照班级分组，统计身高、成绩的最大值
# res = df.groupby(by=['group_id', 'cls_id'])[['height', 'score']].max()
# print('res:\n', res)

#                   height  score
# group_id cls_id
# 1        A        182.0     98
#          B        180.5     92
# 2        A        169.0     88
#          B        192.0     88

2.使用 agg 函数进行聚合数据

DataFrame.agg(func, axis=0, *args, **kwargs)

参数说明：
在这里插入图片描述
代码实现：

# 分组聚合--->按照一定的规则进行分组，在各组内统计指标--->自动合并
# 如何分组？？？    # 统计指标？？
# groupby ---by来指定分组
# 常用指标：max min std mean head count ...
import pandas as pd
import numpy as np

# 构造一个行索引
index = ['stu_' + str(i) for i in range(12)]

# 创建一个df来对它进行分组聚合
df = pd.DataFrame(
    data={
        'cls_id': ['A', 'A', 'A', 'A', 'A', 'A', 'B', 'B', 'B', 'B', 'B', 'B'],
        'group_id': [1, 1, 1, 2, 2, 2, 1, 1, 1, 2, 2, 2],
        'name': ['zs', 'ls', 'ww', 'zl', 'xx', 'uu', 'yy', 'kk', 'ii', 'oo', 'zz', 'qq'],
        'height': [178.0, 182.0, 175.5, 168.0, 152.0, 169.0, 173.5, 180.5, 156.5, 172.0, 190.0, 192.0],
        'score': [98, 96, 85, 87, 88, 65, 60, 92, 59, 87, 62, 88]
    },
    index=index
)
print('df:\n', df)
print('df的类型：\n', type(df))
print('*' * 100)

# agg不能分组，只能求指标
# agg = aggregate

# 可以使用agg求出多列的多个指标
# 可以使用agg求出height 、score 的最大值、均值多个指标
# print(df[['height', 'score']].agg([np.max, np.mean]))

# 可以使用agg求出不同列的不同指标
# 同时统计身高的最大值、成绩的平均值
# print(df.agg({'height': [np.max], 'score': [np.mean]}))

# 可以使用agg求取不同列的不同个数的统计指标
# 求出身高的最大值，求出成绩的最小值、均值
# print(df.agg({'height': [np.max], 'score': [np.min, np.mean]}))

# 自定义函数 ---对height列 和score列分别 + 100操作
# print(df[['height', 'score']].agg(lambda x: x + 100))

# 也可以使用transform ---使用不是特别多
# transform也能实现agg自定义功能
# print(df[['height', 'score']].transform(lambda x: x + 100))

# 可以对分组之后的对象进行操作
# agg和transform区别
# transform-->返回的内容行数，之前传进去的匹配
# print(df.groupby(by='cls_id')[['height', 'score']].transform(np.sum))

3.案例：店铺营业额案例

目的：统计每日的营业额数据。

meal_order_detail.xlsx：
在这里插入图片描述
代码实现：

import pandas as pd

# 加载数据
detail = pd.read_excel('./meal_order_detail.xlsx')
print('detail:\n', detail)
print('detail的列索引：\n', detail.columns)

# 以第0个sheet为例
# 获取该店铺的营业额？
# 每日的营业额 ---->将数据分组 每日的数据 ---按照日进行分组 ---->统计每日内部的营业额
# 无营业额这列数据
# 数量 * 单价  ---> 菜品的营业额 --->对该日的 ---每个菜品的营业额--->求和 ---->该日的营业额

# (1) 获取日属性
# 先将 place_order_time 转化为pandas默认支持的时间序列
detail.loc[:, 'place_order_time'] = pd.to_datetime(detail.loc[:, 'place_order_time'])
# 利用列表推导式获取时间属性
detail.loc[:, 'day'] = [i.day for i in detail.loc[:, 'place_order_time']]

# (2)构建每个菜品的营业额
# 每个菜品的营业额--->数量 * 单价
detail.loc[:, 'pay'] = detail.loc[:, 'counts'] * detail.loc[:, 'amounts']

print('detail:\n', detail)

# (3)求出每日的营业额
# 按照day进行分组，然后统计pay的sum
day_pay = detail.groupby(by='day')['pay'].sum()

print('day_pay:\n', day_pay)

# 假设存在 8月、9月、10月--->每日的营业数据---->每日的营业额
# 找 month day 属性，计算每个菜品的收入 ---->按照 [month day] 分组，统计 菜品收入 sum

二、Pandas透视表与交叉表

1.利用 pivot_table 函数可以实现透视表 、

pands.pivot_table(data,values=None,index=None,columns=None,aggfunc='mea	n',f
ill_value=None,margins=False,dropna=True,margins_name='All')

在这里插入图片描述
在这里插入图片描述
代码实现：

import pandas as pd
import numpy as np

# 透视表 ---plus版本的分组聚合 ---分组聚合全部可以使用透视表来替代
# 构造一个行索引
index = ['stu_' + str(i) for i in range(12)]

# 创建一个df来对它进行分组聚合
df = pd.DataFrame(
    data={
        'cls_id': ['A', 'A', 'A', 'A', 'A', 'A', 'B', 'B', 'B', 'B', 'B', 'B'],
        'group_id': [1, 1, 1, 2, 2, 2, 1, 1, 1, 2, 2, 2],
        'name': ['zs', 'ls', 'ww', 'zl', 'xx', 'uu', 'yy', 'kk', 'ii', 'oo', 'zz', 'qq'],
        'height': [178.0, 182.0, 175.5, 168.0, 152.0, 169.0, 173.5, 180.5, 156.5, 172.0, 190.0, 192.0],
        'score': [98, 96, 85, 87, 88, 65, 60, 92, 59, 87, 62, 88]
    },
    index=index
)
print('df:\n', df)
print('df的类型：\n', type(df))
print('*' * 100)

# 按照班级进行分组，统计各个班级的身高的最大值
# print(df.groupby(by='cls_id')['height'].max())

# 可以使用 pd.pivot_table 创建透视表
# data --用来创建透视表的数据
# values ---关心的主体
# index --->按照index指定列进行分组，--->结果的index
# aggfunc---对关心主体所统计的指标
res = pd.pivot_table(data=df,
                     values='height',
                     index='cls_id',
                     aggfunc='max'
                     )
print('res:\n', res)
# 返回的结果的类型 跟pandas版本有关
# 如果你返回的是series--->后续的操作就是series的操作
# 如果你返回的是dataframe--->后续的操作就是dataframe的操作

# 按照班级、小组进行分组，统计身高、成绩均值
# print(df.groupby(by=['cls_id', 'group_id'])[['height', 'score']].mean())

# 创建透视表
# res = pd.pivot_table(data=df,
#                      values=['height', 'score'],
#                      index=['cls_id', 'group_id'],
#                      aggfunc='mean'
# )
# print('res:\n',res)

# 创建透视表
# 也可以指定其列的名称 ---按列进行分组
# columns ---指定其列分组
# fill_value ---默认为None,可以指定替换缺失值
# dropna --True,会干掉整列都是缺失的这样的列
# margins  ---开关，多出一列、一行数据 ---根据你的aggfunc统计指标来计算的数据
# margins_name ---->默认 ALL
# res = pd.pivot_table(data=df,
#                      values='height',
#                      index='cls_id',
#                      aggfunc='mean',
#                      columns='group_id',
#                      # margins=True,
#                      # margins_name
#                      )
# print('res:\n', res)



# 交叉表：特殊的透视表，计算两两之间的频率
# pd.crosstab --->创建交叉表
# index --->结果的行索引
# columns --->结果的列索引
# 在满足行列的条件下，出现数据的次数
# res = pd.crosstab(index=df['height'],
#                   columns=df['score'])
# print('res:\n',res)



# 创建交叉表
# values ---关心的主体
# aggfunc---统计的指标
# values 和 aggfunc 必须同时出现
# index 与 columns 必须同时出现
res = pd.crosstab(index=df['cls_id'],
                  columns=df['group_id'],
                  values=df['height'],
                  aggfunc=np.max
                  )
print('res:\n', res)
79 | Python数据分析篇 —— Pandas中groupby聚合操作和透视表基础
微信号：RunsenLiu
08-06 619
'C' : my_mean }) print(mean) # 输出 # C # A # bar 2.0 # foo 4.0本文介绍了Pandas中groupby聚合操作和透视表的基础知识，包括groupby操作、透视表的创建和使用。groupby操作可以将数据按照指定的列进行分组，并对每组数据进行聚合计算，常用的聚合函数包括count、sum、mean、median、min、max等。透视表是一种数据汇总工具，它可以将数据按照指定的列进行分组，并对每组数据进行聚合计算。
pandas-分组聚合
MicoOu的博客
01-13 1233
目录1.groupby分组1.1 分组的方式2.agg聚合2.1 dataframe.agg方法2.2 分组对象的agg方法 1.groupby分组 通过groupby方法对series或者dataframe对象进行分组，该方法会返回一个分组对象。但是无法直接打印查看该分组对象的信息。 groupby的一个属性二个方法： groups：返回一个字典类型的对象，包含分组信息。 size()：返回...
pandas分组聚合
热门推荐
weixin_44766179的博客
07-11 1万+
基本操作 import pandas as pd import numpy as np df = pd.DataFrame({'a':['one','two','one','two'], 'b':['key1', 'key1','key2','key2'], 'c':[2,3,4,5], ...
数据分析 — Pandas 分组聚合
记录学习过程，欢迎讨论交流~
02-15 1796
函数应用和映射、汇总和描述统计、str 属性、分组聚合、透视表
Python之---【Pandas】聚合技术（GroupBy技术）
Ricky
03-23 1518
1.分组运算 所谓的“分组运算”是多个步骤的一个组合，我们可以拆分为“split-apply-combine”（拆分-应用-合并），我觉得这个词很好的描述了整个过程。分组运算的第一个阶段，pandas对象（无论是Series，DataFrame还是其他的）中的数据会根据你所提供的一个或多个“key”，被拆分（split）为多个组。拆分操作是在对象的特定轴上执行的，例如，DataFrame可以在其行...
pandas数据分析之分组聚合
学而思(xiejava的blog)
02-12 6850
在数据分析过程中，经常会需要根据某一列或多列把数据划分为不同的组别，然后再对其进行数据分析。本文将介绍pandas的数据分组及分组后的应用如对数据进行聚合、转换和过滤。
对比excel，学习pandas数据透视表
01-06
1、excel中做数据透视表 ...2、pandas中使用pivot_table()做数据透视表 1）语法格式 pd.pivot_table(data,index=None,columns=None, values=None,aggfunc='mean', margins=False,margins_name='All',
19_数据分析_pandas_数据透视表.mp4
11-07
19_数据分析_pandas_数据透视表.mp4
学习pandas数据透视表
01-20
2、pandas中使用pivot_table()做数据透视表 1）语法格式 pd.pivot_table(data,index=None,columns=None, values=None,aggfunc=‘mean’, margins=False,margins_name=‘All’, dropna=True,fill_value=None) 1 2 3 4...
pandas官方文档中文版_pandas_pandas文档_python_
10-02
数据透视表** 通过`pivot_table()`函数，我们可以快速创建类似电子表格的交叉表，进行多维度数据分析。这在比较不同类别间的数据时非常有用。 **9. 数据可视化** 虽然Pandas自身不提供复杂的图形绘制功能，但...
python处理二进制文件_python 打开二进制文件Python之数据聚合与分组运算
weixin_39631370的博客
11-24 226
002pc.com认为此文章对《python 打开二进制文件Python之数据聚合与分组运算》说的很在理。Python之数据聚合与分组运算1. 关系型数据库方便对数据进行连接、过滤、转换和聚合。2. Hadley Wickham创建了用于表示分组运算术语“split-apply-combine”（拆分-应用-合并）。3. GroupBy的size方法，它可以返回一个含有分组大小的Series。4....
python pandas聚合_Python Pandas分组聚合的实现方法
weixin_32809369的博客
02-19 227
Pycharm 鼠标移动到函数上，CTRL+Q可以快速查看文档，CTR+P可以看基本的参数。apply(),applymap()和map()apply()和applymap()是DataFrame的函数，map()是Series的函数。apply()的操作对象是DataFrame的一行或者一列数据，applymap()是DataFrame的每一个元素。map()也是Series中的每一个元素。ap...
Pandas中实现聚合统计，有几种方法？
小数志
06-06 1235
导读Pandas是当前Python数据分析中最为重要的工具，其提供了功能强大且灵活多样的API，可以满足使用者在数据分析和处理中的多种选择和实现方式。今天本文以Pandas中实现分组计数这...
Pandas数据分析12——pandas数据分组聚合
weixin_46277779的博客
08-03 3998
分类数据分组进行各种函数方法计算。数值型数据分组进行分箱然后分类计算
Python之Pandas超详细入门教程 -- 第七章 Pandas分组与聚合【进阶篇】
hhladminhhl的博客
10-21 1228
分组与聚合通常是分析数据的一种方式，通常与一些统计函数一起使用，查看数据的分组情况 1 什么分组与聚合 2 分组API DataFrame.groupby(key, as_index=False) key:分组的列数据，可以多个 案例:不同颜色的不同笔的价格数据 col =pd.DataFrame({'color': ['white','red','green','red','green'], 'object': ['pen','pencil','pencil','ashtray','pen']
（四）Pandas分组聚合 学习简要笔记 #Python #CDA学习打卡
最新发布
weixin_42346952的博客
04-09 656
本文是对上期Pandas数据处理笔记的补充，介绍了Pandas分组聚合（单列分组、两列分组、自定义聚合函数、拼接字符串等）的方法。
Pandas聚合运算和分组运算
MANKVIS的博客
04-09 1万+
1.聚合运算(1)使用内置的聚合运算函数进行计算1&gt;内置的聚合运算函数sum(),mean(),max(),min(),size(),describe()...等等2&gt;应用聚合运算函数进行计算import numpy as np import pandas as pd #创建df对象 dict_data = { 'key1':['a','b','c','d','a','b','...
【Pandas】groupby 分组聚合操作
qq_41934715的博客
06-01 3015
Pandas库里的groupby首先按照 key 进行分组，就可以得到每个 groupby 的名称，以及 group 本身；group本身是一个dataframe或者一个series；再在这个dataframe或者series基础上进行统计。统计完成之后会将key和统计结果拼合起来。
pandas数据分组与聚合
m0_64087341的博客
04-26 5080
数据分组与聚合、数据透视表与交叉表
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值