hadoop2.x整合手册【4】---mahout0.9安装部署与测试

基本过程和0.8版本的安装http://blog.csdn.net/xqj198404/article/details/9619265的一致

需要在bin目录下的mahout文件的头部添加如下环境变量

HADOOP_CONF_DIR="hadoop的配置目录需要以/结尾"
HADOOP_HOME="hadoop的安装目录需要以/结尾"
MAHOUT_HEAPSIZE=2000 mahout可以调用的内存量,建议设的比较大

另外修改hadoop配置目录下的mapred-site.xml的文件,添加如下参数

	<name>mapred.child.java.opts</name>
		<value>-Xmx1024m</value>
	</property>
如果是算法计算密集型的,建议超过1024的进行设置,而hadoop默认的200m的设置是不够用mahout使用的

另外修改hadoop配置目录下的hadoop-env.sh的文件,将export HADOOP_HEAPSIZE的注释取消

export HADOOP_HEAPSIZE=2000

设置hadoop的可用内存为2000M

如果仍然在运行mahout中出现java heap space的错误,可以将以上的两项设置的参数依据实际硬件条件设置更大

mahout的验证方法与0.8版本方法相同

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值