hadoop配置参数

一、各个组件jvm参数
1、在hadoop-env.sh中的HADOOP_HEAPSIZE和HADOOP_CLIENT_OPTS是公共参数，不仅影响namenode/datanode，还会覆盖hive的hive-env.sh中的jvm的设置，因此建议将这两个参数注释
2、设置NameNode的jvm参数，在hadoop-env.sh中设定HADOOP_NAMENODE_OPTS
3、设置DataNode的jvm参数，在hadoop-env.sh中设定HADOOP_DATANODE_OPTS
4、设置ResourceManager的jvm参数，在yarn-env.sh设定YARN_RESOURCEMANAGER_HEAPSIZE和YARN_RESOURCEMANAGER_OPTS
5、设置NodeManager的jvm参数，在yarn-env.sh设定YARN_NODEMANAGER_HEAPSIZE和YARN_NODEMANAGER_OPTS

二、core-site.xml
<property>
    <name>hadoop.tmp.dir</name>
    <value>file:/data/hadoop/tmp</value>
    <description>hadoop相关进程的临时目录。比如SecondaryNameNode在合并edit logs；NodeManger shuffle write的中间数据</description>
</property>

三、hdfs-site.xml
<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/data/hadoop/dfs/name</value>
    <description>NameNode存放数据的路径</description>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/data/hadoop/dfs/data</value>
    <description>DataNode存放数据的路径，多个路径逗号分隔</description>
</property>

四、yarn-site.xml
<property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/data/hadoop/tmp/nm-local-dir</value>
    <description>nodemanager存放数据(如shuffle数据)的路径，多个路径用逗号分隔，</description>
</property>

五、hadoop-env.sh
export HADOOP_LOG_DIR=/data/hadoop/logs ：NameNode、DataNode、SecondaryNameNode的日志路径
export HADOOP_CONF_DIR ：hadoop配置文件路径，默认是$HADOOP_HOME/etc/hadoop

六、yarn-env.sh
export YARN_LOG_DIR=/data/hadoop/logs ：ResourceManager、NodeManager的日志路径