Pandas的数据分组-groupby，aggregate，transform函数用法分析总结（25）

最新推荐文章于 2024-06-11 22:29:27 发布
最新推荐文章于 2024-06-11 22:29:27 发布
阅读量2.3k 收藏 2
点赞数 1
分类专栏： Pandas总结
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36622490/article/details/103163808
版权

在SQL语言里有group by功能，在Pandas里有groupby函数与之功能相对应。DataFrame数据对象经groupby()之后有ngroups和groups等属性，本质是DataFrame类的子类DataFrameGroupBy的实例对象。ngroups反应的是分组的个数，而groups类似dict结构，key是分组的index或label，value则为index或label所对应的分组数据。size函数则是可以返回所有分组的字节大小。count函数可以统计分组后各列数据项个数。get_group函数可以返回指定组的数据信息。而discribe函数可以返回分组后的数据的统计数据。

  • 基于单列的分组。
import pandas as pd
idx = [101,101,101,102,102,102,103,103,103]
name = ["apple","pearl","orange", "apple","pearl","orange","apple","pearl","orange"]
price = [1.0,2.0,3.0,4.00,5.0,6.0,7.0,8.0,9.0]
df0 = pd.DataFrame({ "fruit": name, "price" : price, "supplier" :idx})
print "*" * 30
print df0
dg =  df0.groupby("fruit")
print "*" * 30
for n, g in dg:
    print "group_name:", n, "\n|",g,"|" 
print "*" * 30
for n,_ in dg:
    print "group_name:", n, "\n|",dg.get_group(n),"|" 
print "*" * 30
print dg.describe()
print "*" * 30

程序执行结果：

******************************
    fruit  price  supplier
0   apple      1       101
1   pearl      2       101
2  orange      3       101
3   apple      4       102
4   pearl      5       102
5  orange      6       102
6   apple      7       103
7   pearl      8       103
8  orange      9       103
******************************
group_name: apple 
|    fruit  price  supplier
0  apple      1       101
3  apple      4       102
6  apple      7       103 |
group_name: orange 
|     fruit  price  supplier
2  orange      3       101
5  orange      6       102
8  orange      9       103 |
group_name: pearl 
|    fruit  price  supplier
1  pearl      2       101
4  pearl      5       102
7  pearl      8       103 |
******************************
group_name: apple 
|    fruit  price  supplier
0  apple      1       101
3  apple      4       102
6  apple      7       103 |
group_name: orange 
|     fruit  price  supplier
2  orange      3       101
5  orange      6       102
8  orange      9       103 |
group_name: pearl 
|    fruit  price  supplier
1  pearl      2       101
4  pearl      5       102
7  pearl      8       103 |
******************************
              price  supplier
fruit                        
apple  count    3.0       3.0
       mean     4.0     102.0
       std      3.0       1.0
       min      1.0     101.0
       25%      2.5     101.5
       50%      4.0     102.0
       75%      5.5     102.5
       max      7.0     103.0
orange count    3.0       3.0
       mean     6.0     102.0
       std      3.0       1.0
       min      3.0     101.0
       25%      4.5     101.5
       50%      6.0     102.0
       75%      7.5     102.5
       max      9.0     103.0
pearl  count    3.0       3.0
       mean     5.0     102.0
       std      3.0       1.0
       min      2.0     101.0
       25%      3.5     101.5
       50%      5.0     102.0
       75%      6.5     102.5
       max      8.0     103.0
******************************
  • 多列数据分组。在groupby函数内给出一个列表，列表里列出多列列名。
import pandas as pd
idx = [101,101,101,102,102,102,103,103,103]
name = ["apple","pearl","orange", "apple","pearl","orange","apple","pearl","orange"]
price = [1.0,2.0,3.0,4.00,5.0,6.0,7.0,8.0,9.0]
df0 = pd.DataFrame({ "fruit": name, "price" : price, "supplier" :idx})
print "*" * 30
print df0
print "*" * 30
dg2 =  df0.groupby(["fruit", "supplier"])
for n, g in dg2:
    print "multiGroup on:", n, "\n|",g ,"|"
print "*" * 30

程序里基于["fruit", "supplier"]两列进行分组。执行结果如下：

******************************
    fruit  price  supplier
0   apple      1       101
1   pearl      2       101
2  orange      3       101
3   apple      4       102
4   pearl      5       102
5  orange      6       102
6   apple      7       103
7   pearl      8       103
8  orange      9       103
******************************
multiGroup on: ('apple', 101) 
|    fruit  price  supplier
0  apple      1       101 |
multiGroup on: ('apple', 102) 
|    fruit  price  supplier
3  apple      4       102 |
multiGroup on: ('apple', 103) 
|    fruit  price  supplier
6  apple      7       103 |
multiGroup on: ('orange', 101) 
|     fruit  price  supplier
2  orange      3       101 |
multiGroup on: ('orange', 102) 
|     fruit  price  supplier
5  orange      6       102 |
multiGroup on: ('orange', 103) 
|     fruit  price  supplier
8  orange      9       103 |
multiGroup on: ('pearl', 101) 
|    fruit  price  supplier
1  pearl      2       101 |
multiGroup on: ('pearl', 102) 
|    fruit  price  supplier
4  pearl      5       102 |
multiGroup on: ('pearl', 103) 
|    fruit  price  supplier
7  pearl      8       103 |
******************************
  • 使用set_index进行分组。
import pandas as pd
idx = [101,101,101,102,102,102,103,103,103]
name = ["apple","pearl","orange", "apple","pearl","orange","apple","pearl","orange"]
price = [1.0,2.0,3.0,4.00,5.0,6.0,7.0,8.0,9.0]
df0 = pd.DataFrame({ "fruit": name, "price" : price, "supplier" :idx})
print "*" * 30
print df0
print "*" * 30
dg2 =  df0.groupby(["fruit", "supplier"])
for n, g in dg2:
    print "multiGroup on:", n, "\n|",g ,"|"
print "*" * 30
si = df0.set_index(["fruit", "supplier"])
print si
print "*" * 30

程序的执行结果：

******************************
    fruit  price  supplier
0   apple      1       101
...
8  orange      9       103
******************************
multiGroup on: ('apple', 101) 
|    fruit  price  supplier
0  apple      1       101 |
...
multiGroup on: ('pearl', 103) 
|    fruit  price  supplier
7  pearl      8       103 |
******************************
                 price
fruit  supplier       
apple  101           1
...
orange 103           9
******************************

Pandas的数据分组-aggregate聚合

在对数据进行分组之后，可以对分组后的数据进行聚合处理统计。

  • agg函数，agg的形参是一个函数会对分组后每列都应用这个函数。
import pandas as pd
import numpy as np
idx = [101,101,101,102,102,102,103,103,103]
idx += [101,102,103]
name = ["apple","pearl","orange", "apple","pearl","orange","apple","pearl","orange"]
name += ["apple"] * 3
price = [1.0,2.0,3.0,4.00,5.0,6.0,7.0,8.0,9.0]
price += [4] * 3
df0 = pd.DataFrame({ "fruit": name, "price" : price, "supplier" :idx})
print "*" * 30
print df0
print "*" * 30
dg1 =  df0.groupby(["fruit", "supplier"])
for n, g in dg1:
    print "multiGroup on:", n, "\n|",g ,"|"
print "*" * 30
print dg1.agg(np.mean)

程序的执行结果：

******************************
     fruit  price  supplier
0    apple      1       101
1    pearl      2       101
2   orange      3       101
3    apple      4       102
4    pearl      5       102
5   orange      6       102
6    apple      7       103
7    pearl      8       103
8   orange      9       103
9    apple      4       101
10   apple      4       102
11   apple      4       103
******************************
multiGroup on: ('apple', 101) 
|    fruit  price  supplier
0  apple      1       101
9  apple      4       101 |
...
multiGroup on: ('pearl', 103) 
|    fruit  price  supplier
7  pearl      8       103 |
******************************
                 price
fruit  supplier       
apple  101         2.5
       102         4.0
       103         5.5
orange 101         3.0
       102         6.0
       103         9.0
pearl  101         2.0
       102         5.0
       103         8.0

请注意水果apple的输出。

  • agg应用均值、求和、最大等示例。
import pandas as pd
import numpy as np
idx = [101,101,101,102,102,102,103,103,103]
idx += [101,102,103] * 3
name = ["apple","pearl","orange", "apple","pearl","orange","apple","pearl","orange"]
name += ["apple"] * 3 + ["pearl"] * 3 + ["orange"] * 3
price = [4.1,5.3,6.3,4.20,5.4,6.0,4.5,5.5,6.8]
price += [4] * 3 + [5] * 3 + [6] * 3
df0 = pd.DataFrame({ "fruit": name, "price" : price, "supplier" :idx})
print "*" * 30
print df0
print "*" * 30
dg1 =  df0.groupby(["fruit", "supplier"])
print dg1.agg(np.mean)
print "*" * 30
print dg1.agg([np.mean, np.std, np.min, np.sum])

程序执行结果：

******************************
     fruit  price  supplier
0    apple    4.1       101
...
17  orange    6.0       103
******************************
                 price
fruit  supplier       
apple  101        4.05
       102        4.10
       103        4.25
orange 101        6.15
       102        6.00
       103        6.40
pearl  101        5.15
       102        5.20
       103        5.25
******************************
                price                     
                 mean       std amin   sum
fruit  supplier                           
apple  101       4.05  0.070711    4   8.1
       102       4.10  0.141421    4   8.2
       103       4.25  0.353553    4   8.5
orange 101       6.15  0.212132    6  12.3
       102       6.00  0.000000    6  12.0
       103       6.40  0.565685    6  12.8
pearl  101       5.15  0.212132    5  10.3
       102       5.20  0.282843    5  10.4
       103       5.25  0.353553    5  10.5
  • 各列用不同的处理函数。需要在agg函数里以字典的形式给出，分组后的那列用那个函数处理。
import pandas as pd
import numpy as np
idx = [101,101,101,102,102,102,103,103,103]
idx += [101,102,103] * 3
name = ["apple","pearl","orange", "apple","pearl","orange","apple","pearl","orange"]
name += ["apple"] * 3 + ["pearl"] * 3 + ["orange"] * 3
price = [4.1,5.3,6.3,4.20,5.4,6.0,4.5,5.5,6.8]
price += [4] * 3 + [5] * 3 + [6] * 3
df0 = pd.DataFrame({ "fruit": name, "price" : price, "supplier" :idx})
print "*" * 30
print df0
print "*" * 30
dg1 =  df0.groupby(["fruit"])
print dg1.agg(np.mean)
print "*" * 30
print dg1.agg([np.mean, np.std, np.min, np.sum])
print "*" * 30
print dg1.agg({"price" : np.mean, "supplier" : np.max})

程序的执行结果：

******************************
     fruit  price  supplier
0    apple    4.1       101
1    pearl    5.3       101
2   orange    6.3       101
3    apple    4.2       102
4    pearl    5.4       102
5   orange    6.0       102
6    apple    4.5       103
7    pearl    5.5       103
8   orange    6.8       103
9    apple    4.0       101
10   apple    4.0       102
11   apple    4.0       103
12   pearl    5.0       101
13   pearl    5.0       102
14   pearl    5.0       103
15  orange    6.0       101
16  orange    6.0       102
17  orange    6.0       103
******************************
           price  supplier
fruit                     
apple   4.133333       102
orange  6.183333       102
pearl   5.200000       102
******************************
           price                      supplier                    
            mean       std amin   sum     mean       std amin  sum
fruit                                                             
apple   4.133333  0.196638    4  24.8      102  0.894427  101  612
orange  6.183333  0.325064    6  37.1      102  0.894427  101  612
pearl   5.200000  0.228035    5  31.2      102  0.894427  101  612
******************************
        supplier     price
fruit                     
apple        103  4.133333
orange       103  6.183333
pearl        103  5.200000

agg函数是对列而言的，如果打算对分组后列的数据进行处理可以使用tranform函数。

 

Pandas的数据分组-transform函数

pandas有些函数在不同的版本下可能使用功能有些不同，这是个麻烦事情。查看pandas的版本。

$ python
>>> import pandas as pd
>>> print pd.__version__
0.17.1

升级pandas

$ sudo pip install -U pandas

或者安装指定版本的软件：

$ sudo pip install pandas=x.y.z

x.y.z为选用的pandas的版本号。而本章的transform函数是在pandas的0.20版本后才加入pandas的。 transform函数可以作用于groupby之后的每个组的所有数据。

import pandas as pd
import numpy as np
idx = [101,101,101,102,102,102,103,103,103]
idx += [101,102,103] * 3
name = ["apple","pearl","orange", "apple","pearl","orange","apple","pearl","orange"]
name += ["apple"] * 3 + ["pearl"] * 3 + ["orange"] * 3
price = [4.1,5.3,6.3,4.20,5.4,6.0,4.5,5.5,6.8]
price += [4] * 3 + [5] * 3 + [6] * 3
df0 = pd.DataFrame({ "fruit": name, "price" : price, "supplier" :idx})
print "df", "*" * 30
print df0
def p_data(o):
    for name, group in o:
        print name
        print group[:3]
dg1 =  df0.groupby(["fruit"])
print "1", "*" * 30
print p_data(dg1)
def f1(x):
    return x + 1
def f2(x):
    return x + 100
print "2", "*" * 30
print dg1["price"].transform(f1)[:3]
print "3", "*" * 30
print dg1["supplier"].transform(f2)[:3]
print "4", "*" * 30
print dg1.transform(f2)[:3]

示例里的print dg1.transform(f2)[:3]语句是对dg1各组里各个值都在原有基础上加100,从执行结果可以看出是这样的。

df ******************************
     fruit  price  supplier
0    apple    4.1       101
1    pearl    5.3       101
2   orange    6.3       101
3    apple    4.2       102
4    pearl    5.4       102
5   orange    6.0       102
6    apple    4.5       103
7    pearl    5.5       103
8   orange    6.8       103
9    apple    4.0       101
10   apple    4.0       102
11   apple    4.0       103
12   pearl    5.0       101
13   pearl    5.0       102
14   pearl    5.0       103
15  orange    6.0       101
16  orange    6.0       102
17  orange    6.0       103
1 ******************************
apple
   fruit  price  supplier
0  apple    4.1       101
3  apple    4.2       102
6  apple    4.5       103
orange
    fruit  price  supplier
2  orange    6.3       101
5  orange    6.0       102
8  orange    6.8       103
pearl
   fruit  price  supplier
1  pearl    5.3       101
4  pearl    5.4       102
7  pearl    5.5       103
2 ******************************
0    5.1
1    6.3
2    7.3
Name: price, dtype: float64
3 ******************************
0    201
1    201
2    201
Name: supplier, dtype: int64
4 ******************************
   price  supplier
0  104.1       201
1  105.3       201
2  106.3       201

 

†徐先森®
关注
专栏目录
pandas使用groupby函数进行分组聚合、使用get_group函数获取指定分组的数据（extract specific group after groupby in dataframe）
data+scenario+science+insight
01-27 4934
pandas使用groupby函数进行分组聚合、使用get_group函数获取指定分组的数据（extract specific group after groupby in dataframe）
pandas数据分组聚合——groupby()、aggregate()、apply()、transform()和filter()方法详解
热门推荐
FGH333xwy的博客
12-04 4万+
在关系型数据库库里，存在着Group by分组和聚合运算过程，Pandas提供的分组对象GroupBy，配合相关运算方法能够实现特定的分组运算目的。GroupBy对象提供分组运算步骤中的拆分功能，aggregate、transform、apply以及filter在分组运算上提供了不同的实现途径，本文详解四种方法的使用过程，对比函数特点，区分使用范围，以便更好理解数据分组运算。
pandas 的分组与聚合运算/groupby/transform/apply/agg
weixin_44595372的博客
03-08 3867
dataframe.groupby(): 用途：对一个dataframe或series进行分组计算操作 基本语法: DataFrame.groupby(by=None, axis=0, level=None, as_index=True, sort=True, group_keys=True, squeeze=False, **kwargs) 参数释义： by : 计算方式 by=函数：对df/s...
【Pandas】学习笔记之groupby()、agg()、transform()
cwtnice的博客
08-09 664
聚合函数相关，数据分析过程中常常用到
Pandas：细说groupby和aggregate、transform、apply以及filter
小龙虾
09-02 2万+
这一个知识点感觉是目前接触的Pandas中最难的了，故写篇博客记录一下，这一节有点函数式编程的味道~ （一）groupby 先说一下goupby，顾名思义，就是分组的意思，给你一个DataFrame，以某一列为标准，分成若干个“子DataFrame”，这些个“子DataFram”由两部分组成，一个是索引index，即类别，一个是“子DataFrame”的内容，数据类型也是DataFrame，不...
pandas-groupby分组操作
LeFran的博客
07-30 1207
groupby分组一 aggregate聚合**常用:**1 分组后单列聚合-groupby+聚合函数2 根据多列分组后直接进行聚合计算并返回df3 分组后单列使用多个聚合函数-groupby+agg([])4 分组后对多列分别使用聚合函数-groupby+agg({})5 分组后使用自定义聚合函数-groupby+agg二 transform转换**常用:**1 分组后单列数据转换-groupby+transform('内置聚合函数名')2 分组后使用自定义函数-groupby+transform(自定
pandas分组groupby(agg,transform),apply
laicikankna的博客
04-23 1537
快速浏览pandas简单介绍和本文说明一、SAC过程二、groupby函数1. groupby分组函数的基本内容参考 pandas简单介绍和本文说明 pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现，它...
pandas -- 基础操作(六):数据分组及透视表，df.groupby、pd.pivot,、pd.pivot_table、stack(堆叠)、 unstack（不堆叠）
qq_33624802的博客
12-09 2053
文章目录前言一、数据分组1.1 数据分组格式1.2 基础实例1.3 将分组列设置为index，对index进行整体操作1.4二、透视表1.pd.pivot2.pd.pivot_table3. df.stack\df.unstack总结 前言 数据分组和数据透视表是常用的数据汇总工具，它可以根据一个或多个制定的维度对数据进行聚合和重组。 一、数据分组 什么是数据分组： 数据分组就是根据一个或多个键（可以是函数、数组或dataframe列名）将数据分为若干组，然后对分组后的数据分别进行汇总计算..
Pandas GroupBy计算剖析基础：分割、应用与组合
Cdccc_daye的博客
04-12 1556
引言 对较大数据进行分析时，有效的数据累计可以呈现大数据集的特征。由于数据集内部数据的多样性，我们不再形容为对单一类型数据的聚合，而是累计（aggregation），这意味着我们将实现在某个类别里的合并同类项。 对于一维数据的和、最值、均值等系列统计指标在这里不再赘述。对于二维的，有组织的DataFrame你也能通过指定汇总轴轻松得到你想要的结果。 笼统的了解整个数据集是不够的，对某些标签和索引局部的累计分析同样是我们需要的，Pandas里的groupby可以帮助我们做到这一点。但你在分组的时候，中间
Pandas-分组
qq_42722145的博客
04-26 527
第三章 分组 import numpy as np import pandas as pd df = pd.read_csv('data/table.csv',index_col='ID') df.head() School Class Gender Address Height Weig...
【Pandas】深入解析pandas中的统计汇总函数`count()`
最新发布
qq_38614074的博客
06-11 2064
函数是一个简单但非常实用的工具，用于统计 DataFrame 或 Series 中非空（或非NaN）元素的数量。函数有一些可选参数，但通常我们在日常使用中很少需要用到这些参数，因为默认的行为（沿着列进行统计）已经足够满足大部分需求。函数来计算了每个员工的记录数，这里我们仅对 ‘Date’ 列进行了计数，因为 ‘Date’ 列的每一行都代表一个员工的出勤记录。假设我们有一个包含员工出勤数据的 DataFrame，我们需要统计每个员工的出勤天数。是一个功能强大的工具，它提供了丰富的数据处理和分析函数。
Pandas groupby函数 transform函数 实战
xcntime的专栏
05-25 8423
Pandas（Python）中的transform函数一开始可能有点难以理解，并且大多数数据科学家不会马上使用到它。 但对于数据科学家来说，transform函数是一个用于数据清洗、转换或者生成报表的非常方便的工具，尤其是对于大量数据的处理速度上。 应用实例 考虑这样一个例子，我们有来自某商店的表格如下： 某商店的销售数据 而我们希望生成一个新列，统计每个用户的平均购买额，如下： 我们希望生成的表 我们起码有两种方法实现这个操作： 先采用groupby计算平均并生成一个新的dat...
pandas中apply(),transform(),agg()使用心得
Learn_and的博客
09-15 1307
transform() 使用方法：df.groupby([‘id’, ‘name’])[‘price’, ‘price_’].transform(‘count’) transform() 里面不能跟自定义的特征交互函数，因为transform是真针对每一元素（即每一列特征操作）进行计算 tramform()可以使用python的内置方法，运算速度较快 agg() 使用方法：df.groupby([‘id’, ‘name’])[‘price’, ‘price_’].agg(‘count’) agg()
pandas python groupby_Pandas的数据分组-groupby函数
weixin_39917811的博客
12-09 217
29. Pandas的数据分组-groupby函数在SQL语言里有group by功能，在Pandas里有groupby函数与之功能相对应。DataFrame数据对象经groupby()之后有ngroups和groups等属性，本质是DataFrame类的子类DataFrameGroupBy的实例对象。ngroups反应的是分组的个数，而groups类似dict结构，key是分组的index或la...
Pandas系列学习教程——14 pandas分组聚合统计groupby
lzylzy66的博客
03-13 1048
随着人工智能的不断发展，数据分析这门技术也越来越重要，很多人都开启了学习数据分析，本文就介绍了pandas学习的基础内容。本章简单介绍了pandas分组聚合统计，具体介绍了分组使用聚合函数做数据统计和遍历groupby的结果执行流程两种方法。
Python学习笔记--pandas库中groupby的相关操作
Li_wangyang的博客
03-27 4448
pandas库中groupby的相关操作准备：数据及pandasgroupby()介绍1、groupby对象属性2、基本操作3、遍历组参考 近日学习pandas时，对于其中的groupby()函数以及相关的一些操作查了一些资料，现总结一下以供后面翻阅 准备：数据及pandas 先来导入数据 import pandas as pd import numpy as np df = pd.Data...
Python 数据处理 —— pandas 分组聚合
dxs18459111694的博客
11-30 325
我们所说的group by拆分：根据指定的标准对数据进行切割，并分为不同的组别应用：分别在每个组中应用函数组合：将所有的结果组合为数据结构在这些步骤中，拆分是最直接的。而事实上，多数情况下，我们可能希望将数据集分成若干组，并对这些分组进行一些操作在应用函数的步骤中，我们可能希望进行以下操作聚合：为每个分组应用一个或多个汇总函数，例如：计算分组的和或均值计算分组的转换：为不同的分组执行不同的计算，并返回类似索引的对象，例如：在组内进行标准化（zscore填充每个分组中的NA值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值