Pandas 统计分析基础 笔记4 任务4.4 使用分组聚合进行组内计算

最新推荐文章于 2024-08-20 22:19:11 发布
最新推荐文章于 2024-08-20 22:19:11 发布
阅读量2.4k 收藏 15
点赞数 1
分类专栏： # 【pandas 统计分析基础】 文章标签： python 数据挖掘 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jcjic/article/details/111183643
版权

文章目录

pandas_任务4.4 使用分组聚合进行组内计算

!
!!
!!!可以点击下面连接
ipynb格式浏览

4.4.1 使用groupby方法拆分数据

代码 4-51 对菜品订单详情表依据订单编号分组

import pandas as pd
import numpy as np
from sqlalchemy import create_engine

engine = create_engine('mysql+pymysql://root:123456@localhost:3306/zuoye')
detail = pd.read_sql_table('meal_order_detail1',con = engine)
detailGroup = detail[['order_id','counts',
      'amounts']].groupby(by = 'order_id')
print('分组后的订单详情表为：',detailGroup)

分组后的订单详情表为： <pandas.core.groupby.generic.DataFrameGroupBy object at 0x000002547B8C0DC8>


D:\Study\anaconda\lib\site-packages\pymysql\cursors.py:170: Warning: (1366, "Incorrect string value: '\\xD6\\xD0\\xB9\\xFA\\xB1\\xEA...' for column 'VARIABLE_VALUE' at row 1")
  result = self._query(query)

代码 4-52 GroupBy 类求均值,标准差,中位数

print('订单详情表分组后前5组每组的均值为：\n', 
      detailGroup.mean().head())

print('订单详情表分组后前5组每组的标准差为：\n', 
      detailGroup.std().head())

print('订单详情表分组后前5组每组的大小为：','\n', 
      detailGroup.size().head())

订单详情表分组后前5组每组的均值为：
           counts  amounts
order_id                 
1002      1.0000   32.000
1003      1.2500   30.125
1004      1.0625   43.875
1008      1.0000   63.000
1011      1.0000   57.700
订单详情表分组后前5组每组的标准差为：
            counts    amounts
order_id                    
1002      0.00000  16.000000
1003      0.46291  21.383822
1004      0.25000  31.195886
1008      0.00000  64.880660
1011      0.00000  50.077828
订单详情表分组后前5组每组的大小为： 
 order_id
1002     7
1003     8
1004    16
1008     5
1011    10
dtype: int64

代码 4-53 agg和aggregate函数的参数及其说明

print('订单详情表的菜品销量与售价的和与均值为：\n',
      detail[['counts','amounts']].agg([np.sum,np.mean]))

订单详情表的菜品销量与售价的和与均值为：
            counts        amounts
sum   3088.000000  125992.000000
mean     1.111191      45.337172
订单详情表的菜品销量总和与售价的均值为：
 counts     3088.000000
amounts      45.337172
dtype: float64

代码 4-54 使用agg分别求字段的不同统计量

print('订单详情表的菜品销量总和与售价的均值为：\n',
      detail.agg({'counts':np.sum,'amounts':np.mean}))

订单详情表的菜品销量总和与售价的均值为：
 counts     3088.000000
amounts      45.337172
dtype: float64

代码 4-55 使用agg方法求不同字段的不同数目统计量

print('菜品订单详情表的菜品销量总和与售价的总和与均值为：\n',
      detail.agg({'counts':np.sum,'amounts':[np.mean,np.sum]}))

菜品订单详情表的菜品销量总和与售价的总和与均值为：
       counts        amounts
mean     NaN      45.337172
sum   3088.0  125992.000000

代码 4-56 在agg方法中使用自定义函数

##自定义函数求两倍的和
def DoubleSum(data):
    s = data.sum()*2
    return s
print('菜品订单详情表的菜品销量两倍总和为：','\n',
      detail.agg({'counts':DoubleSum},axis = 0))

菜品订单详情表的菜品销量两倍总和为： 
 counts    6176.0
dtype: float64

代码 4-57 agg方法中使用的自定义函数含NumPy中的函数

def DoubleSum1(data):
    s = np.sum(data)*2
    return s
print('订单详情表的菜品销量两倍总和为：\n',
      detail.agg({'counts':DoubleSum1},axis = 0).head())

print('订单详情表的菜品销量与售价的和的两倍为：\n',
      detail[['counts','amounts']].agg(DoubleSum1))

订单详情表的菜品销量两倍总和为：
    counts
0     2.0
1     2.0
2     2.0
3     2.0
4     2.0
订单详情表的菜品销量与售价的和的两倍为：
 counts       6176.0
amounts    251984.0
dtype: float64

代码 4-58 使用agg方法做简单的聚合

print('订单详情表分组后前3组每组的均值为：\n', 
      detailGroup.agg(np.mean).head(3))

print('订单详情表分组后前3组每组的标准差为：\n', 
      detailGroup.agg(np.std).head(3))

订单详情表分组后前3组每组的均值为：
           counts  amounts
order_id                 
1002      1.0000   32.000
1003      1.2500   30.125
1004      1.0625   43.875
订单详情表分组后前3组每组的标准差为：
            counts    amounts
order_id                    
1002      0.00000  16.000000
1003      0.46291  21.383822
1004      0.25000  31.195886

代码 4-59 使用ag方法对分组数据使用不同的聚合函数

print('订单详情分组前3组每组菜品总数和售价均值为：\n', 
      detailGroup.agg({'counts':np.sum,
            'amounts':np.mean}).head(3))

订单详情分组前3组每组菜品总数和售价均值为：
           counts  amounts
order_id                 
1002         7.0   32.000
1003        10.0   30.125
1004        17.0   43.875

4.4.3 使用apply方法聚合数据

代码 4-60 apply方法的基本用法

print('订单详情表的菜品销量与售价的均值为：\n',
      detail[['counts','amounts']].apply(np.mean))

订单详情表的菜品销量与售价的均值为：
 counts      1.111191
amounts    45.337172
dtype: float64

代码 4-61 使用apply方法进行聚合操作

print('订单详情表分组后前3组每组的均值为：','\n', detailGroup.apply(np.mean).head(3))
print('订单详情表分组后前3组每组的标准差为：','\n', detailGroup.apply(np.std).head(3))

订单详情表分组后前3组每组的均值为： 
               order_id  counts  amounts
order_id                               
1002      1.431572e+26  1.0000   32.000
1003      1.253875e+30  1.2500   30.125
1004      6.275628e+61  1.0625   43.875
订单详情表分组后前3组每组的标准差为： 
             counts    amounts
order_id                     
1002      0.000000  14.813122
1003      0.433013  20.002734
1004      0.242061  30.205287

使用transform 方法聚合数据

transform方法能够对整个DataFrame的所有元素进行操作。且transform方法只有一个参数“func”，表示对DataFrame操作的函数。

代码 4-62 使用transform方法将销量和售价翻倍

print('订单详情表的菜品销量与售价的两倍为：\n',
      detail[['counts','amounts']].transform(
            lambda x:x*2).head(4))

订单详情表的菜品销量与售价的两倍为：
    counts  amounts
0     2.0     98.0
1     2.0     96.0
2     2.0     60.0
3     2.0     50.0

代码 4-63 使用transform实现组内离差标准化

同时transform方法还能够对DataFrame分组后的对象GroupBy进行操作，可以实现组内离差标准化等操作。

 print('订单详情表分组后实现组内离差标准化后前五行为：\n', 
       detailGroup.transform(lambda x:(x-x.min())/(x.max()-x.min())).head())

若在计算离差标准化的时候结果中有NaN，这是由于根据离差标准化公式，最大值和最小值相同的情况下分母是0。而分母为0的数在Python中表示为NaN。
但是这里会报ZeroDivisionError: float division by zero的bug ,就是分母为0了,奇奇怪怪感觉,书上的运行得了
感谢@孤芳不自赏呀 的bug更正

4.4.5任务实现

代码 4-64 订单详情按照日期分组

detail = pd.read_sql_table('meal_order_detail1',con = engine)
detail['place_order_time'] = pd.to_datetime(detail['place_order_time'])
detail['date'] = [i.date() for i in detail['place_order_time']]
detailGroup = detail[['date','counts','amounts']].groupby(by='date')
print('订单详情表前5组每组的数目为：\n',detailGroup.size().head())

订单详情表前5组每组的数目为：
 date
2016-08-01    217
2016-08-02    138
2016-08-03    157
2016-08-04    144
2016-08-05    193
dtype: int64

代码 4-65 求分组后的订单详情表每日菜品销售的均价,中位数

dayMean = detailGroup.agg({'amounts':np.mean})
print('订单详情表前五组每日菜品均价为：\n',dayMean.head())

dayMedian = detailGroup.agg({'amounts':np.median})
print('订单详情表前五组每日菜品售价中位数为：\n',dayMedian.head())

订单详情表前五组每日菜品均价为：
               amounts
date                 
2016-08-01  43.161290
2016-08-02  44.384058
2016-08-03  43.885350
2016-08-04  52.423611
2016-08-05  44.927461
订单详情表前五组每日菜品售价中位数为：
             amounts
date               
2016-08-01     33.0
2016-08-02     35.0
2016-08-03     38.0
2016-08-04     39.0
2016-08-05     37.0

代码 4-66 求取订单详情表中单日菜品总销量

daySaleSum = detailGroup.apply(np.sum)['counts']
print('订单详情表前五组每日菜品售出数目为：\n',daySaleSum.head())


订单详情表前五组每日菜品售出数目为：
 date
2016-08-01    233.0
2016-08-02    151.0
2016-08-03    192.0
2016-08-04    169.0
2016-08-05    224.0
Name: counts, dtype: float64
数据闲逛人
关注
专栏目录
使用groupby函数和agg函数计算分组数据的中位数和四分位数
与其临渊羡鱼,不如退而结网
05-21 1084
在数据分析中，我们经常需要对数据进行分组，并计算每个组的中位数、四分位数等统计信息。使用Python中的groupby函数和agg函数可以轻松地完成这些任务。使用groupby函数和agg函数计算分组数据的中位数和四分位数。通过以上的代码，我们可以轻松地计算分组数据的中位数和四分位数。表示四分位数（第一四分位数和第三四分位数）。是我们要处理的数据文件。是我们要分组的列名。
pandas基础（分组和聚合运算）
Bro_Jun的博客
05-27 967
目录分组计算对Series进行分组对DataFrame分组求每个分组的元素个数 size()对分组进行迭代将分组转化为字典按列分组 axis=1通过字典进行分组通过函数来分组多层索引数据根据索引级别分组数据聚合内置聚合函数自定义聚合函数应用多个聚合函数使用其他方法分组运算（transform()和apply()）transform函数apply函数 分组计算 分组计算三步曲：拆分 -> 应用 -> 合并 拆分：根据什么进行分组？ 应用：每个分组进行什么样的计算？ 合并：把每个分组的计算结果合并
【第4章】4.4分组聚合的组内计算
Ithaca_farmer的农田
10-22 739
分组聚合 1.groupby 方法拆分数据 实现数据拆分 DataFrame.groupby( by=None, axis=0,level=None…) 常用参数by传入值 说明 字典或Series 以它的 “值” 作为分组依据 Numpy 数组 以数据的 “元素” 最为分组依据 字符串 或 字符串列表 以字符串代表的 “字段” 最为分组依据 对详情表的 订单编号 ...
【python数据分析11】——Pandas统计分析(分组聚合进行组内计算)
最新发布
zhejie666的博客
08-20 1313
依据某个或者几个字段对数据集进行分组，并对各组应用一个函数，无论是聚合还是转换，都是数据分析的常用操作。pandas提供了一个灵活高效的groupby方法，配合agg或apply方法，能够实现分组聚合的操作。
数据分析--pandas--使用分组聚合进行组内计算
weixin_44675377的博客
07-20 4657
1 使用 groupby 方法拆分数据 先来看一张图： groupby 方法的参数及其说明： 该方法提供的是分组聚合步骤中的拆分功能，能根据索引或字段对数据进行分组。其常用参数与使用格式如下。 DataFrame.groupby(by=None, axis=0, level=None, as_index=True, sort=True, group_keys=True, squeeze=Fal...
Pandas统计分析基础（使用分组聚合进行组内计算，数据预处理）
中文过六级再取名的博客
05-20 2189
Pandas统计分析基础（使用分组聚合进行组内计算，数据预处理） 分组聚合组内计算 1、groupby进行数据拆分 groupby能够根据字段或者索引对数据分组处理。 groupby 分组后的数据对象类似于DataFrame，也是Pandas提供的一组数据对象，这类主要方法有： 2、使用agg进行数据聚合 agg参数如下： func ：接收list、dict、function。表示应用于每行每列的函数。无默认 axis：接收0或1.代表操作的轴向。默认为0 例1：获取传感器数据中温湿度数据的均值
4.4 使用分组聚合进行组内计算
我走的每一步都算数
04-20 996
在agg方法可传入自定义的函数。## 自定义函数求两倍的和 def DoubleSum(data) :使用自定义函数需要注意的是NumPy库中的函数np.mean，np.median，np.prod，np.sum，np.std，np.var能够在agg中直接使用，但是在自定义函数中使用NumPy库中的这些函数，如果计算的时候是单个序列则会无法得出想要的结果，如果是多列数据同时计算则不会出现这种问题。
Pandas GroupBy计算剖析基础：分割、应用与组合
Cdccc_daye的博客
04-12 1579
引言 对较大数据进行分析时，有效的数据累计可以呈现大数据集的特征。由于数据集内部数据的多样性，我们不再形容为对单一类型数据的聚合，而是累计（aggregation），这意味着我们将实现在某个类别里的合并同类项。 对于一维数据的和、最值、均值等系列统计指标在这里不再赘述。对于二维的，有组织的DataFrame你也能通过指定汇总轴轻松得到你想要的结果。 笼统的了解整个数据集是不够的，对某些标签和索引局部的累计分析同样是我们需要的，Pandas里的groupby可以帮助我们做到这一点。但你在分组的时候，中间
数据分析（numpy--matplotlib--pandas）基础笔记
longgecxl的博客
09-21 1906
第1章 python数据分析的概述 由于数据量比较大，已经远远超过了人力所能处理的范畴。那么管理和使用这些数据，就成为一个全新的研究课题 1.1 认识数据分析 数据分析技能，成为数据从业人员需要具备的技能之一。 明确数据分析概念、分析流程、和分析方法等相关知识，成为迈出数据分析的第1步 1.1.1 数据分析的概念 数据分析：就是用适当的方法，对收集来的数据进行分析，提取有用的信息和形成结论。以此帮助企业管理层做出决策 广义的数据分析：狭义数据分析...
《利用Python进行数据分析》学习笔记 第4章 NumPy基础：数组和矢量计算
jasonzhang0105的博客
04-23 488
第4章 NumPy基础：数组和矢量计算 NumPy(Numerical Python的简称)是Python数值计算最重要的基础包。大多数提供科学计算的包都是用NumPy的数组作为构建基础。 NumPy的部分功能如下： ndarray，一个具有矢量算术运算和复杂广播能力的快速且节省空间的多维数组。 用于对整组数据进行快速运算的标准数学函数（无需编写循环）。 用于读写磁盘数据的工具以及用于操...
【笔记】2022.06.20 python数据分析三大神器numpy、pandas、matplotlib
SpriteNym的博客
06-20 1979
很强
数据分析入门——pandas统计分析2
Echoblabla的博客
07-12 231
分组聚合进行组内运算 1、agg、aggregate可以对每个分组应用函数 data_gb.agg({'counts':np.sum,'amounts':[np.sum,np.mean]}) 3、apply方法 与agg类型却只能作用于整列，但不能对某一列执行特定函数，只能批量作用所有列 4、transform方法 f data[['counts','amounts']].transform(lambda x：x**2)) data_gb.transform(lambda x:(x.mean()-x.m
group by 多个字段（多个条件去分具体多少个组等价于条件分支）
qq_42381317的博客
09-17 910
首先group by 的简单说明: group by 一般和聚合函数一起使用才有意义,比如 count sum avg等,使用group by的两个要素: (1) 出现在select后面的字段 要么是是聚合函数中的,要么就是group by 中的. (2) 要筛选结果 可以先使用where 再用group by 或者先用group by 再用having 下面看下 group by多个条件的分析: 在SQL查询器输入以下语句 create table test ( a varchar(20), b varc
python基础学习7【聚合apply()、透视表pivot_table(）、concat()、主键合并merge（）、join（）、combine_first（）】
qq_53968319的博客
06-24 1180
在外连接的情况下，则显示索引的并集部分数据，不足的地方则使用空值填补。数据分析和处理过程中若出现两份数据的内容几乎一致的情况，但是某些特征在其中一张表上是完整的，而在另外一张表上的数据则是缺失的时候，可以用combine_first进行重叠合并。和数据库的join一样，merge函数也有左连接、右连接、内连接和外连接，除此之外，在合并过程中可以对数据集进行排序。使用concat函数时，在默认情况下，即axis=0时，concat做列对齐，将不同行索引的两张或多张表纵向合并。改完了就能看到正常的数据。
Pandas数据处理_分组聚合_透视表交叉表
酱汁儿
07-29 3411
Pandas数据处理_分组聚合_透视表交叉表
Pandas数据分析12——pandas数据分组聚合
weixin_46277779的博客
08-03 4044
分类数据分组进行各种函数方法计算。数值型数据分组进行分箱然后分类计算
python pandas常用统计函数总结 -- 以及与groupby, pivot_table, describe, crossTab等方法结合使用的比较
weixin_45914452的博客
03-27 5173
python pandas中聚合函数的应用小结 1、常用的统计值相对应的python函数 平均数：np.mean() 总和：np.sum() 最大值：np.max() 最小值：np.min() 方差：np.var() 标准差：np.std() 频次（计数）: np.count() 中位数：np.median() 协方差： np.cov(x, y) 四分位数：describe() – 显示25%, 50%, 75%位置上的数据 2、基本使用方法 – NumPy包计算 3、数据表中的应用 – groupby
Python学习笔记（9）Pandas统计分析2
gm1_1的博客
04-15 1240
转换与处理时间序列/分组聚合和组内计算
使用python写代码展示使用分组聚合函数进行组内计算
06-01
好的，以下是Python代码展示使用分组聚合函数进行组内计算： ```python import pandas as pd # 创建DataFrame df = pd.DataFrame({'A': ['foo', 'bar', 'foo', 'bar', 'foo', 'bar', 'foo', 'foo'], 'B': ['one', 'one', 'two', 'three', 'two', 'two', 'one', 'three'], 'C': [1, 2, 3, 4, 5, 6, 7, 8], 'D': [9, 10, 11, 12, 13, 14, 15, 16]}) # 显示DataFrame print(df) # 对DataFrame进行分组 grouped = df.groupby('A') # 对分组后的数据进行聚合计算 agg_result = grouped.agg({'C': sum, 'D': max}) # 显示聚合计算结果 print(agg_result) # 对分组后的数据进行过滤 filter_result = grouped.filter(lambda x: x['C'].sum() > 10) # 显示过滤结果 print(filter_result) # 对分组后的数据进行转换 transform_result = grouped.transform(lambda x: (x - x.mean()) / x.std()) # 显示转换结果 print(transform_result) # 对分组后的数据进行apply操作 apply_result = grouped.apply(lambda x: x.describe()) # 显示apply操作结果 print(apply_result) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数据闲逛人

谢谢大嘎喔~ 开心就好

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值