python加速提取统计特征

在参加机器学习比赛的时候，有点时候给的 row data 不像kaggle上面那么规整，常常需要做一些特征提取和清洗的工作

在参加某个比赛的时候，我发现了用groupby提取一些统计特征，比手写的for循环快了不知好几百倍

因为之前是学JAVA的，所以钟爱于for循环，但是在参加比赛的时候，我手写了个两重for循环吧，由于数据比较大，有7G的文件，然后需要关联不同的表，查出一些统计特征作为特征分析

 

举个例题，比如说，有一张班级表（字段是：学号+班级号），有另一张表是金额表（字段是：学号+金额）

现在的任务是找出每个班最穷的人

 

下面是我敲的实验代码：

import time
from sklearn.utils import shuffle
import numpy as np
import pandas as pd


#有一千个班级，每个班级两千人，共有两百万人
class_num=1000
people_per_class=2000
sample_num=people_per_class*class_num
#构建表格
class_no=list(range(1,class_num+1))*people_per_class
c=shuffle(np.array(class_no)).reshape(sample_num,1)
s=np.array(range(1,sample