Hadoop
文章平均质量分 73
HaleGe
数据挖掘机器学习
展开
-
解决Hadoop运行jar包时MapReduce任务启动前OutOfMemoryError:Java heap space问题
最近在研究Mahout开源代码时尝试利用MapReduce加载本地训练好的机器学习模型至集群并进行分布式预测,整个程序通过Hadoop jar XXXX.jar来执行,期间由于需要在本地进行模型训练同时训练数据集条目较多模型规模比较大,导致在本地训练模型时JAVA报错:java.error.OutOfMemoryError:Java heap space原创 2015-11-25 10:12:21 · 2032 阅读 · 0 评论 -
Mahout中关于MultiLayer Perceptron模块的源码解析
Mahout中关于MultiLayer Perceptron模块的源码解析前段时间学习NN时使用到了BPNN,考虑到模型的分布式扩展,我想到使用Mahout的MultiLayer Perceptron(mlp)来实现。于是下载研读了Mahout中该模块的源码,这会儿希望能把学习笔记记录下来,一来怕自己后面遗忘,二来与大伙儿一同学习。这里我使用的Mahout版本是0.10,直接因为Apa原创 2015-12-30 08:55:01 · 4259 阅读 · 1 评论