有同学反馈,我们决赛的数据比较大,由于机器资源的限制,在处理数据和构建模型的时候,会遇到一些瓶颈。以下来抛一下我们了解的一些处理思路:
1 采样
可以对数据进行下采样,然后使用不同的子集进行特征抽取和建模,最后再进行集成。
2 特征处理
在处理大规模原始数据时,需要充分借助外存(硬盘)空间,只把真正需要处理的数据放进内存。一般而言,采用流式、分块的方式处理数据可以解决大部分问题。以下是一些具体的技巧。
a) 只加载需要的数据到内存。有些特征可以通过单条数据直接得到,如星期特征。这种情况下,可以使用 streaming 的方式进行处理,每次读入若干数据(chunk),处理,生成特征,然后再写到硬盘。使用 pandas 的 read_csv,可以设置 chunksize 参数,譬如 for chunk in read_csv ( infile, chunksize=10000 );
b) 只保留需要的数据在内存。决赛的数据可以直接装到 16G 内存中,每次生成一条样本的特征,就把特征直接写入硬盘,不在内存保留。如果生成的特征较多,可以分多次生成,写到分散的特征文件,最后进行一个 merge 操作。在 merge 的时候,可以对多个特征文件按照统一的 key 进行排序,然后同时扫描多个特征文件,进行merge,再写到硬盘;
c) 充