0206-Hadoop完全分布式安装部署

1. 编写集群分发脚本xsync

1. 在/home/yanlzh目录下创建bin目录，并在bin目录下xsync创建文件，文件内容如下：

[yanlzh@node11 ~]$ mkdir bin
[yanlzh@node11 ~]$ cd bin/
[yanlzh@node11 bin]$ touch xsync
[yanlzh@node11 bin]$ vi xsync

2. 在该文件中编写如下代码

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环
for((host=11; host<14; host++)); do
        echo ------------------- hadoop$host --------------
        rsync -rvl $pdir/$fname $user@node$host:$pdir
done

3. 修改脚本 xsync 具有执行权限

[yanlzh@node11 bin]$ chmod 777 xsync

2. SSH 免密登录配置

1. 生成公钥私钥

[yanlzh@node11 .ssh]$ ssh-keygen -t rsa

2. 将公钥私钥拷贝到要免密登录的目标机器上

[yanlzh@node11 .ssh]$ ssh-copy-id node11 
[yanlzh@node11 .ssh]$ ssh-copy-id node12 
[yanlzh@node11 .ssh]$ ssh-copy-id node13 

3. 还需要在node12上采用yanlzh账号配置一下无密登录到node11 、node12 、node13 服务器上。

[yanlzh@node12 .ssh]$ ssh-copy-id node11 
[yanlzh@node12 .ssh]$ ssh-copy-id node12 
[yanlzh@node12 .ssh]$ ssh-copy-id node13 

4. 还需要在node11 上采用root账号，配置一下无密登录到hadoop102、node12 、node13 ；

[root@node11 .ssh]$ ssh-copy-id node11 
[root@node11 .ssh]$ ssh-copy-id node12 
[root@node11 .ssh]$ ssh-copy-id node13 

3. 集群配置

1. 集群部署规划

node11	node12	node13
NameNode
DataNode	DataNode	DataNode
		SecondaryNameNode
NodeManager	NodeManager	NodeManager
	ResourceManager

2. 配置集群

core-site.xml

<!-- 指定HDFS中NameNode的地址 -->
<property>
		<name>fs.defaultFS</name>
      <value>hdfs://node11:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

hdfs-site.xml

<property>
		<name>dfs.replication</name>
		<value>3</value>
</property>

<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>node13:50090</value>
</property>

yarn-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

yarn-site.xml

<!-- Reducer获取数据的方式 -->
<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>node12</value>
</property>

mapred-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

mapred-site.xml

<!-- 指定MR运行在Yarn上 -->
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>

slaves

node11
node12
node13

3. 在集群上分发配置好的Hadoop配置文件

[yanlzh@node11 hadoop]$ xsync /opt/module/hadoop-2.7.2/

4. 查看文件分发情况

[yanlzh@node12 hadoop]$ cat /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml

4. 启动集群

1. 如果集群是第一次启动，需要格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）

[yanlzh@node11 hadoop-2.7.2]$ bin/hdfs namenode -format

2. 启动HDFS

[yanlzh@node11 hadoop-2.7.2]$ sbin/start-dfs.sh
[yanlzh@node11 hadoop-2.7.2]$ jps
4166 NameNode
4482 Jps
4263 DataNode
[yanlzh@node12 hadoop-2.7.2]$ jps
3218 DataNode
3288 Jps
[yanlzh@node13 hadoop-2.7.2]$ jps
3221 DataNode
3283 SecondaryNameNode
3364 Jps

3. 启动YARN

[yanlzh@node13 hadoop-2.7.2]$ sbin/start-yarn.sh

注意：NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN。