Map/Reduce的内存使用设置

一、背景

今天采用10台异构的机器做测试，对500G的数据进行运算分析，业务比较简单，集群机器的结构如下：

A：双核CPU×1、500G硬盘×1，内存2G×1（Slaver），5台

B：四核CPU×2、500G硬盘×2，内存4G×2（Slaver），4台

C：四核CPU×2、500G硬盘×2，内存4G×8（Master），1台

软件采用Hadoop 0.20.2，Linux操作系统。

二、过程

1、制造了500G的数据存放到集群中。

2、修改配置，主要是并发的Map和Reduce数量。修改如下图：

3、修改mapred-site.xml配置文件中的mapred.child.java.opts参数为-Xmx2046m

4、启动Job，半路出现了Cannot allocate memory错误，明显是内存分配不