本文介绍了如何调整Hadoop集群中NameNode、JobTracker、Datanode和Tasktracker的内存配置，包括在Hadoop-env.sh中设定HADOOP_HEAPSIZE，并通过修改HADOOP_XXX_OPTS以定制特定应用如NameNode的内存大小。同时提到了在mapred-site.xml中设置Map Task和Reduce Task的最大内存。此外，还推荐了与大数据工程师面试流程、学习大数据的基础知识及大数据开发工程师工作经验相关的阅读内容。
NameNode、Jobtracker、Datanode、Tasktracker设置
conf/Hadoop-env.sh
修改HADOOP_HEAPSIZE值，默认为1000MB，标题中四个应用将使用相同的配置。如果希望每个应用不一样，可以修改"conf/hadoop-env.sh"中"HADOOP_XXX_OPTS"，举例比如希望修改NN的Head Size最大值，通过如下语句：
export HADOOP_NAMENODE_OPTS="-Xmx15360m -Dcom.sun.management.jmxremote $HADOOP_NAMENODE_OPTS"
Map Task 、 Reduce Task设置
conf/mapred-site.xml
<property>
<name>mapred.child.java.opts</name>
<value>-Xmx2048m</value>
</property>
推荐阅读文章
最低0.47元/天 解锁文章
扫一扫
644
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
