spark分类训练时因分类标签值太大导致outOfMemery

最近在研究spark的ml库，刚好公司有需求想做一个分类器，于是拿了一批数据进行测试，数据不多，训练集只有50w的数据（当然我的测试环境配置也不高，因为装了CDH，导致每台机器只有3G的空闲内存），在做测试的时候，每次都是在生成分类模型的时候报outOfMemery错误，各种设置内存相关的参数都修改了，可依然没有效果。

正在素手无策的时候，找了以前的例子进行比较（以前做个一个用搜狗语料库训练分类模型的例子），找到了一个典型的区别，搜狗语料库中的类别标签就只有10几种，而我的这批数据中，不知道是出于什么原因，类别标签是一个8位的数字（实际上没有这么多的类别）。于是从这方面开始考虑，我们都知道，在做分类的时候label其实是一个double类型的字段，比如：0标识一类，1标识一类，现在对于一个8位数字的label，系统是不是会认为有类别标签的最大值个分类？（0-类别标签的最大值）如果是这样的话就有千万级的类别，训练的时候出现这个问题就不意外了，因为我这3台机器可用内存实在太低了。

于是开始改造，将类别标签模300（这样类别标签就是0-299了），再进行训练，依然报outOfMemery；再缩减，类别标签直接模10，这次果然没报错了。淌了一个坑，特此纪念！