Linux6下部署Hadoop-02集群部署参数配置

集群机器和配置文件配置

机器配置

	hadoop001	hadoop002	hadoop003
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager

配置文件修改

核心配置文件

• core-site.xml

<!-- 指定HDFS中NameNode的地址 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop001:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

HDFS配置文件

• hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

• hdfs-site.xml

<property>
	<name>dfs.replication</name>
	<value>3</value>
</property>

<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop003:50090</value>
</property>

YARN配置文件

• yarn-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

• yarn-site.xml

<!-- Reducer获取数据的方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop002</value>
</property>

MapReduce配置文件

• mapred-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

• mapred-site.xml

<!-- 指定MR运行在Yarn上 -->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

群起salve配置

• slaves

都是DataNode的节点

hadoop001
hadoop002
hadoop003

分发配置

xsync /opt/module/hadoop-2.7.2/

SSH免密登录

• 生成公钥和私钥

ssh-keygen -t rsa

• 将公钥拷贝到要免密登录的目标机器上

ssh-copy-id hadoop001
ssh-copy-id hadoop002
ssh-copy-id hadoop003

启动

启动hdfs

在NameNode机器上启动 start-dfs.sh

启动yarn

在Yarn的ResourceManager机器启动 start-yarn.sh

时间同步配置

安装ntp服务

• 所有服务器安装

yum install ntp -y

主节点配置

• ntp.conf

vim /etc/ntp.conf

• 修改添加内容

restrict 192.168.142.0 mask 255.255.255.0 nomodify notrap
server 127.127.1.0
fudge 127.127.1.0 stratum 10

• 启动和自动启动

service ntpd start

chkconfig ntpd on

其它节点配置

• crond配置

 crontab -e

*/10 * * * * /usr/sbin/ntpdate hadoop001

• 重启crond服务

service crond restart