Pandas数据分类
set_index()统计
拿到数据后,我们希望根据某一个或多个索引将数据进行归类,以便观察数据,可采用set_index()方法
df.set_index([‘Country’, ‘Region’], inplace=True) |
例如我们拿到的Dataframe如下
我们希望看到根据Country,Region分类后的数据,可做如下处理
df.set_index(['Country', 'Region'], inplace=True)
Groupby分组
当我们拿到数据后,数据往往呈现地十分全面,甚至复杂。如何根据需求提取我们所需的数据,进行分组和聚合,是非常有效的手段!
分组方法 | 说明 |
---|---|
df.groupby(‘A’) | 根据‘A’列的值进行分组,返回一个groupby对象 |
df.groupby([‘A’,‘B’]) | 根据‘A’列和’B’列的值进行分组,返回一个groupby对象 |
df.groupby(‘A’)[‘B’].agg(‘’) | 根据‘A’列的值进行分组,并选中分组后的’B’列进行聚合 |
groupby后得到的是分组对象,分组对象是一个可迭代的对象(Key-Values),如下面的,
for keys, values in df.groupby('xxx'):
keys是依据分类的key集合, values是对应的dataframe
聚合apply(), agg()
聚合方法 | 说明 |
---|---|
agg() | mean/sum/size |
df.groupby(‘A’).agg(‘mean’) | 根据‘A’列的值进行分组,并将分组后的各列数据取平均值 |
df.groupby([‘A’,‘B’].agg(‘sum’)) | 根据‘A’列和’B’列的值进行分组,并将分组后的各列数据取累加和 |
df.groupby(‘A’)[‘B’].agg(‘size’) | 根据‘A’列的值进行分组,并选中分组后的’B’列统计其成员数量 |
apply() | 自定义函数/匿名函数lambda |
apply()方法无需分类也可使用 | |
df.groupby(‘A’)[‘B’].apply(lambda x: len(x)) | 根据‘A’列的值进行分组,并选中分组后的’B’列统计其成员数量,等同于agg(‘size’)方法 |
df.groupby(‘A’).apply(lambda x: func(x)) | 根据‘A’列的值进行分组,并对分组后的元素应用自定义的func()方法 |
df.groupby(‘A’).apply(lambda x: x.sort_values()) | 根据‘A’列的值进行分组,并对分组后的元素应用dataframe的sort_values()方法 |
注意:apply在调用函数时,默认将DataFrame逐行或逐列作为一个参数代入调用的函数中,但有的函数需要多个参数,这时可以在apply里加上args=,将其他参数组成一个元组代入函数中。
但有个前提:被调用的函数第一个参数必须是DataFrame的行或列,args=的元组中参数位置必须和函数定义的参数位置一致
代码例程:
df = pd.DataFrame([[1, 2, 3, 4], [5, 6, 7, 8]],
index=list('AB'),
columns=list('abcd'))
print(df)
'''
a b c d
A 1 2 3 4
B 5 6 7 8
'''
def test(x, y, z):
return x + y + z
print(df.apply(test, args=(10, 100)))
'''
a b c d
A 111 112 113 114
B 115 116 117 118
'''