【干货】数据挖掘比赛大数据处理和建模经验

有同学反馈，我们决赛的数据比较大，由于机器资源的限制，在处理数据和构建模型的时候，会遇到一些瓶颈。以下来抛一下我们了解的一些处理思路：

1 采样

可以对数据进行下采样，然后使用不同的子集进行特征抽取和建模，最后再进行集成。

2 特征处理

在处理大规模原始数据时，需要充分借助外存（硬盘）空间，只把真正需要处理的数据放进内存。一般而言，采用流式、分块的方式处理数据可以解决大部分问题。以下是一些具体的技巧。

 

a） 只加载需要的数据到内存。有些特征可以通过单条数据直接得到，如星期特征。这种情况下，可以使用 streaming 的方式进行处理，每次读入若干数据（chunk），处理，生成特征，然后再写到硬盘。使用 pandas 的 read_csv，可以设置 chunksize 参数，譬如 for chunk in read_csv ( infile, chunksize=10000 )；

 

b） 只保留需要的数据在内存。决赛的数据可以直接装到 16G 内存中，每次生成一条样本的特征，就把特征直接写入硬盘，不在内存保留。如果生成的特征较多，可以分多次生成，写到分散的特征文件，最后进行一个 merge 操作。在 merge 的时候，可以对多个特征文件按照统一的 key 进行排序，然后同时扫描多个特征文件，进行merge，再写到硬盘；

 

c） 充