![28fd479e21cbaab3dac4ce897e236f94.gif](https://i-blog.csdnimg.cn/blog_migrate/c0cc7792523e9783a740a2054ef1a25d.gif)
案例数据说明,作为资深科密,我将使用kaggle上老大职业生涯的投篮数据为例,理论结合案例说明分组运算的基本原理和一些基本操作。老大职业生涯数据统计,其中有5000条数据为空,是当时比赛用来预测的结果数据,因此,该数据与老科真实数据之间会有一定的差异。
此外,数据中没有给出每场的得分,但是可以根据shot_type和shot_made_flag两个字段得到得分数据,具体数据处理过程不是本文重点,这里就不再详述了,数据说明:
一、分组运算的原理
1、SAC过程
SAC指的是分组操作中的split-apply-combine过程其中,split指基于某一些规则,将数据拆成若干组,apply是指对每一组独立地使用函数,combine指将每一组的结果组合成某一类数据结构
2、 apply过程
整合(Aggregation)——分组计算统计量(如求均值、求每组元素个数)
变换(Transformation)——分组对每个单元的数据进行操作(如元素标准化)
过滤(Filtration)——按照某些规则筛选出一些组(如选出组内某一指标小于50的组)
综合问题——前面提及的三种问题的混合
二、groupby函数
1、分组原理及结果
可根据一列、多列、多级索引的level以及与数据长度相同的数组列表等进行等值分组,经过groupby后会生成一个groupby对象,该对象本身不会返回任何数据,只有当相应的方法被调用才会起作用.
比如将老科的比赛数据按照常规赛和季后赛进行分组
可以看出数据被分成了两组0:常规赛,1:季后赛,将原来一个整体的dataframe分为两个dataframe
2、组对象的常用方法调用
get_group()获得组结果,
size()和ngroups():组容量与组数,
head()和first():对分组对象使用head函数,返回的是每个组的前几行,而不是数据集前几行;first显示的是以分组为索引的每组的第一个分组信息
3、分组依据
分组的依据是非常自由的,只要是与数据框长度相同的列表即可,同时支持函数型分组。根据奇偶行分组:
df.groupby(lambda x:'奇数行' if not df.index.get_loc(x)%2==1 else '偶数行').groups
从原理上说,我们可以看到利用函数时,传入的对象就是索引
4、groupby的[]操作
可以用[]选出groupby对象的某个或者某几个列,比如对比科比常规赛和季后赛投篮得分比。
kobe.groupby(["playoffs","game_id"])["points"].sum().groupby(level=0).mean()
playoffs0 15.767911 16.43578Name: points, dtype: float64
这里因为数据缺失得到的结果与老科的实际数据有偏差。
三、聚合、过滤和变换
1、聚合(Aggregate)
(1)常用聚合函数
所谓聚合就是把一堆数,变成一个标量,因此mean/sum/size/count/std/var/sem/describe/first/last/nth/min/max都是聚合函数
计算科比生涯对阵对手得分情况
(2)多聚合函数
利用元组进行重命名
(3)多列应用聚合函数
单列多聚合函数,结果列名为聚合函数名,多列应用聚合函数,结果列名为原列名,可以使用rename函数进行重命名。
(4)自定义聚合函数
(5)带参数的聚合函数
2、过滤(Filteration)
filter函数是用来筛选某些组的(务必记住结果是组的全体)全组值均为true的组,因此传入的值应当是布尔标量
3、变换(Transformation)
transform函数中传入的对象是组内的列,并且返回值需要与列长完全一致,如果返回了标量值,那么组内的所有元素会被广播为这个值。
四、apply函数
当函数不是聚合、过滤、变换,而是更普通的函数时,就要用到apply函数,返回值可以为标量、列表,数据框等形式
1、函数应用
(1)标量返回值
此时的功能可视为agg聚合函数
(2)列表返回值
(3)数据框返回值
2、用apply同时统计多个指标