Pandas：GroupBy中的数据聚集

import numpy as np
import pandas as pd
from pandas import Series,DataFrame

一、聚集函数

1.聚集函数就是一种将一组数转换为一个标量值的函数

2.经过优化的groupby聚集函数

函数名	说明
count	分组中非NA值的数量
sum	非NA值的和
mean	非NA值的平均值
median	非NA值的算术中位数
std、var	无偏(分母为n-1)标准差和方差
min、max	非NA值的最小值和最大值
prod	非NA值的积
first、last	第一个和最后一个非NA值

二、在单列上应该聚集函数

df = DataFrame({'类别':['水果','水果','水果','蔬菜','蔬菜','肉类','肉类'],
                '产地':['美国','中国','中国','中国','新西兰','新西兰','美国'],
                '水果':['苹果','梨','草莓','番茄','黄瓜','羊肉','牛肉'],
               '数量':[5,5,9,3,2,10,8],
               '价格':[5,5,10,3,3,13,20]})
print(df)

    产地  价格  数量  水果  类别
0   美国   5   5  苹果  水果
1   中国   5   5   梨  水果
2   中国  10   9  草莓  水果
3   中国   3   3  番茄  蔬菜
4  新西兰   3   2  黄瓜  蔬菜
5  新西兰  13  10  羊肉  肉类
6   美国  20   8  牛肉  肉类

1.使用pandas提供的聚集函数

df.groupby('类别')['数量'].sum()

类别
水果    19
肉类    18
蔬菜     5
Name: 数量, dtype: int64

2.使用自己定义的聚集函数–agg或aggregate

f = lambda x:x.max()-x.min() #计算极差
df.groupby('类别')['价格'].agg(f)

类别
水果    5
肉类    7
蔬菜    0
Name: 价格, dtype: int64

3.某些非聚合函数也可以应用

print(df.groupby('类别').describe())

      价格                                                         数量            \
   count       mean       std   min    25%   50%    75%   max count      mean   
类别                                                                              
水果   3.0   6.666667  2.886751   5.0   5.00   5.0   7.50  10.0   3.0  6.333333   
肉类   2.0  16.500000  4.949747  13.0  14.75  16.5  18.25  20.0   2.0  9.000000   
蔬菜   2.0   3.000000  0.000000   3.0   3.00   3.0   3.00   3.0   2.0  2.500000   


         std  min   25%  50%   75%   max  
类别                                        
水果  2.309401  5.0  5.00  5.0  7.00   9.0  
肉类  1.414214  8.0  8.50  9.0  9.50  10.0  
蔬菜  0.707107  2.0  2.25  2.5  2.75   3.0  

二、在多列上应用聚集函数

1.应用单个函数

df.groupby(['类别','产地'])['数量'].count()

类别  产地 
水果  中国     2
    美国     1
肉类  新西兰    1
    美国     1
蔬菜  中国     1
    新西兰    1
Name: 数量, dtype: int64

2.应用多个函数

应用的函数名便是列名

print(df.groupby(['类别','产地'])['数量'].agg(['mean','count',f]))

        mean  count  <lambda>
类别 产地                        
水果 中国      7      2         4
   美国      5      1         0
肉类 新西兰    10      1         0
   美国      8      1         0
蔬菜 中国      3      1         0
   新西兰     2      1         0

使用元组显式的指定列名

print(df.groupby(['类别','产地'])['数量'].agg([('均值','mean'),('数量','count'),('极差',f)])) # (列名:函数名)

        均值  数量  极差
类别 产地             
水果 中国    7   2   4
   美国    5   1   0
肉类 新西兰  10   1   0
   美国    8   1   0
蔬菜 中国    3   1   0
   新西兰   2   1   0

3.不同的列应用不同的函数

print(df.groupby(['类别','产地']).agg({'价格':'mean','数量':f})) #在列'价格'上应用mean函数，在列'数量'上应用极差函数f

          价格  数量
类别 产地           
水果 中国    7.5   4
   美国    5.0   0
肉类 新西兰  13.0   0
   美国   20.0   0
蔬菜 中国    3.0   0
   新西兰   3.0   0