1.去重
1.1 groupby
groupby用于对pandas数据进行分组,使用示例如下:
card_group=card_df.groupby(['id','how'])['amount'].sum()
首先我们根据id和how两列对数据进行分组,并对分组结果中的amount列进行求和运算,返回最后的结果。
1.2 pivot_table
pivot_table是pandas提供的透视表函数,它根据一个或多个键对数据进行聚合,并根据行列上的分组键将数据分配到各个矩形区域中。使用示例如下:
card_df.pivot_table('amount',index=['id'],columns=['how'],aggfunc=sum)
这里,我们指定行索引为id列,列索引为how列,并返回amount列按照aggfunc参数指定的聚合方法的聚合结果值,这样描述起来可能有些拗口,举个简单的例子,比如原使数据是下面这个样子:
id how amount
01 食堂 200
01 淋浴 10
01 食堂 20
02 食堂 300
02 淋浴 50
02 淋浴 30
02 食堂 150
则按照上面的方式生成的透视表如下所示:
食堂 淋浴
01 220 10
02 450 80
2 图书数据处理
这里,小编将介绍官方给出的图书馆数据的处理过程,首先回顾一下图书馆数据样例:
图书馆的开放时间为早上7点到晚上22点,门禁编号数据在2014/02/23之前只有“编号”信息,之后引入了“进门、出门”信息,还有些异常信息为null,请参赛者自行处理。 字段描述和示例如下: 学生id,门禁编号,具体时间 3684,"5","2013/09/01 08:42:50" 7434,"5","2013/09/01 08:50:08" 8000,"进门2","2014/03/31 18:20:31" 5332,"小门","2014/04/03 20:11:06" 7397,"出门4","2014/09/04 16:50:51"
根据官方给出的数据,我们想要得到每位同学去过图书馆的天数统计信息,结果如下:
id times
0 13
1 1
10 3
19 10
20 13
21 3
22 9
23 7
28 32
29 38
下面开始介绍小编的数据处理过程,首先是从读入数据,很简单,使用read_csv的方法读入数据并指定其columns列表:
library_df=pd.read_csv('library_train.txt',header=None)
library_df.columns=['id','gate','time_stamp']
print (library_df.head(10))
读入的数据示例如下:
id gate time_stamp
0 3684 5 2013/09/01 08:42:50
1 14314 6 2013/09/01 08:42:59
2 5108 9 2013/09/01 08:43:32
3 5826 7 2013/09/01 08:44:06
4 7730 5 2013/09