最近在研究spark的ml库,刚好公司有需求想做一个分类器,于是拿了一批数据进行测试,数据不多,训练集只有50w的数据(当然我的测试环境配置也不高,因为装了CDH,导致每台机器只有3G的空闲内存),在做测试的时候,每次都是在生成分类模型的时候报outOfMemery错误,各种设置内存相关的参数都修改了,可依然没有效果。
正在素手无策的时候,找了以前的例子进行比较(以前做个一个用搜狗语料库训练分类模型的例子),找到了一个典型的区别,搜狗语料库中的类别标签就只有10几种,而我的这批数据中,不知道是出于什么原因,类别标签是一个8位的数字(实际上没有这么多的类别)。于是从这方面开始考虑,我们都知道,在做分类的时候label其实是一个double类型的字段,比如:0标识一类,1标识一类,现在对于一个8位数字的label,系统是不是会认为有类别标签的最大值个分类?(0-类别标签的最大值)如果是这样的话就有千万级的类别,训练的时候出现这个问题就不意外了,因为我这3台机器可用内存实在太低了。
于是开始改造,将类别标签模300(这样类别标签就是0-299了),再进行训练,依然报outOfMemery;再缩减,类别标签直接模10,这次果然没报错了。淌了一个坑,特此纪念!