第三次打卡笔记

导入数据

import numpy as np
import pandas as pd
df = pd.read_csv('data/table.csv',index_col='ID')
df.head()

一、groupby函数

1、分组函数的基本内容

（a）根据某一列分组

经过groupby后会生成一个groupby对象，该对象本身不会返回任何东西，只有当相应的方法被调用才会其作用。

grouped_single.get_group('S_1').head()

（b）根据某几列分组

grouped_mul = df.groupby(['School','Class'])
grouped_mul.get_group(('S_2','C_4'))

（c）组容量与组数

grouped_mul.size()

grouped_mul.ngroups

7

（d）组的遍历

for name,group in grouped_single:
    print(name)
    display(group.head())

（e）level参数和axis参数

df.set_index(['Gender','School']).groupby(level=1,axis=0).get_group('S_1').head()

2、groupby对象的特点

（a）查看所有可调用的方法

groupby对象可以使用很多函数，灵活程度很高。

print([attr for attr in dir(grouped_single) if not attr.startswith('_')])

（b）分组对象的head和first

对分组对象使用head函数，返回的是每个组的前几行，而不是数据集前几行

grouped_single.head(2)

first显示的是以分组为索引的每组的第一个分组信息

grouped_single.first()

（c）分组依据

对于groupby函数而言，分组的依据是非常自由的，只要是与数据框长度相同的列表即可，同时支持函数型分组

df.groupby(np.random.choice(['a','b','c'],df.shape[0])).get_group('a').head()

根据奇偶行分组

df.groupby(lambda x:'奇数行' if not df.index.get_loc(x)%2==1 else '偶数行').groups

（d）groupby的[ ]操作

df.groupby(['Gender','School'])['Math'].mean()>=60

（e）连续型变量分组

bins = [0,40,60,80,90,100]
cuts = pd.cut(df['Math'],bins=bins)
df.groupby(cuts)['Math'].count()

二、聚合、过滤和变换

1、聚合

#####（a）常用聚合函数
所谓聚合就是把一堆数，变成一个标量，因此mean/sum/size/count/std/var/sem/describe/first/last/nth/min/max都是聚合函数

（b）同时使用多个聚合函数

如利用元组进行重命名

group_m.agg([('rename_sum','sum'),('rename_mean','mean')])

（c）使用自定义函数

grouped_single['Math'].agg(lambda x:print(x.head(),'间隔'))

（e）带参数的聚合函数

2、过滤（Filteration）

grouped_single[['Math','Physics']].filter(lambda x:(x['Math']>32).all()).head()

3、变换（Transformation）

（a）传入对象

transform函数中传入的对象是组内的列，并且返回值需要与列长完全一致

grouped_single[['Math','Height']].transform(lambda x:x-x.min()).head()

（b）利用变换方法进行组内标准化

grouped_single[['Math','Height']].transform(lambda x:(x-x.mean())/x.std()).head()

（c）利用变换方法进行组内缺失值的均匀填充

df_nan = df[['Math','School']].copy().reset_index()
df_nan.loc[np.random.randint(0,df.shape[0],25),['Math']]=np.nan
df_nan.head()