Python数据分析

1.Groupby

Grouyby是pandas中最常用和有效的分组函数，有sum(),count(),mean()等

e.g

import pandas as pd

import numpy as np

a=pd.DataFrame({'key1':list('aabba'),

'key2':['one','two','one','two','one'],

'data1':np.random.randn(5),

'data2':np.random.randn(5})

grouped=a.groupby(a['key1'])

print grouped.mean()

a.groupby(lambda x:'even' if x%2==0 else 'odd').mean()

2.聚合agg()

e.g

a=DataFrame({'key':['a','a','b','b','a'],

                       'key2':['one','two','one','two','one'],

                        'data1':np.random.randn(5),

                        'data2':np.random.randn(5)})

grouped=a.groupby('key1')

print grouped.agg('mean')

#apply()和agg()功能上差不多，apply()常常用来处理不同分组的缺失数据的填充和top N的计算，会产生级层索引，而agg可以同时传入多个函数，作用于不同的列

e.g

a=DataFrame({'key1':['a','a','b','b','a'],

                        'key2':['one','two','one','two','one'],

                        'data1':np.random.randn(5),

                        'data2':np.random.randn(5)})

grouped=a.groupby('key1')

print grouped.agg(['sum','mean']) 

print grouped.apply(np.sum)

apply和agg功能上基本是相近的，但是多个函数的时候还是agg比较方便

apply本身的自由度很高，如果分组之后不做聚合操作，仅仅是一些观察的时候，apply就有用武之地了

e.g

print grouped.apply(lambda x: x.describe())