本文介绍了在10台异构机器组成的Hadoop集群上进行500G数据运算分析的测试过程。通过调整Map/Reduce并发数及内存设置，解决了内存不足的问题，提出配置优化原则：Map并发数不超过CPU核数，且Map的并发数乘以每个任务内存占用不应超过节点总内存。此外，强调了硬件性能对计算效率的影响，以及在异构集群中考虑差异化配置的重要性。
一、背景
今天采用10台异构的机器做测试，对500G的数据进行运算分析，业务比较简单，集群机器的结构如下：
A：双核CPU×1、500G硬盘×1，内存2G×1（Slaver），5台
B：四核CPU×2、500G硬盘×2，内存4G×2（Slaver），4台
C：四核CPU×2、500G硬盘×2，内存4G×8（Master），1台
软件采用Hadoop 0.20.2，Linux操作系统。
二、过程
1、制造了500G的数据存放到集群中。
2、修改配置，主要是并发的Map和Reduce数量。修改如下图：
3、修改mapred-site.xml配置文件中的mapred.child.java.opts参数为-Xmx2046m
4、启动Job，半路出现了Cannot allocate memory错误，明显是内存分配不
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
