Hadoop完全分布式文件系统搭建&&hadoop高可用

实验环境：

Namenode：server1：172.25.81.1

Datanode：server2：172.25.81.2
                     server3：172.25.81.3

实验准备：

在三台虚拟机上面均创建hadoop用户并且要求id 完全一致。

Namenode配置部署：

<1>对于Namenode节点，删除上一实验部署中的操作并停止dfs：

[hadoop@server1 ~]$ cd hadoop

[hadoop@server1 hadoop]$ sbin/stop-dfs.sh

[hadoop@server1 hadoop]$ logout

清空之前测试时的文件:

[root@server1 ~]# rm -fr /tmp/*

<2>nfs配置文件共享:

[root@server1 ~]# yum install -y nfs-utils                                 ##安装软件

[root@server1 ~]# systemctl start rpcbind                              ##开启nfs服务之前必须保证此服务开启

[root@server1 ~]# vim /etc/exports                                        ##配置共享目录

/home/hadoop    *(rw,anonuid=1000,anongid=1000)

[root@server1 ~]# exportfs -rv

exportfs参数说明如下。

1）-a：全部挂载（或卸载）/etc/exports文件内的设定。

2）-r：重新挂载/etc/exports中的设置，此外同步更新/etc/exports及/var/lib/nfs/xtab中的内容。

3）-u：卸载某一目录。

4）-v：在export时将共享的目录显示在屏幕上。

[root@server1 ~]# systemctl start nfs          ##开启nfs服务

[root@server1 ~]# showmount -e              ##查看nfs服务器共享出来的资源

在server2和server3上面安装软件，并挂载共享目录

[root@server2 ~]# yum install -y nfs-utils

[root@server2 ~]# systemctl start rpcbind

[root@server2 ~]# mount 172.25.81.1:/home/hadoop/ /home/hadoop/

[root@server3 ~]# yum install -y nfs-utils

[root@server3 ~]# systemctl start rpcbind

[root@server3 ~]# mount 172.25.81.1:/home/hadoop/ /home/hadoop/

 

验证ssh免密,由于设置了nfs共享,所以可以直接免密登录:

 

server1配置分布式，修改配置文件

[hadoop@server1 ~]$ cd hadoop/etc/hadoop/

[hadoop@server1 hadoop]$ vim core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://172.25.81.1:9000</value>
    </property>
</configuration>

[hadoop@server1 hadoop]$ vim hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
</configuration>

将workers文件做如下配置，现在的datanode为server2和server3

[hadoop@server1 hadoop]$ vim workers

172.25.81.2
172.25.81.3

初始化并开启hdfs 

[hadoop@server1 hadoop]$ cd ~/hadoop
[hadoop@server1 hadoop]$ ls
bin  include  libexec      logs        README.txt  share
etc  lib      LICENSE.txt  NOTICE.txt  sbin
[hadoop@server1 hadoop]$ bin/hdfs namenode -format

[hadoop@server1 hadoop]$ sbin/start-dfs.sh

查看进程

浏览器上也可以看到添加的两个datanode:

 

测试使用HDFS文件系统:

[hadoop@server1 hadoop]$ bin/hdfs dfs -mkdir -p /user/hadoop            ##创建hadoop存档

[hadoop@server1 hadoop]$ bin/hdfs dfs -mkdir  input

[hadoop@server1 hadoop]$ bin/hdfs dfs -ls

 

[hadoop@server1 hadoop]$ bin/hdfs dfs -put etc/hadoop/*.xml input                   ##上传文件到HDFS的input目录中

[hadoop@server1 hadoop]$ bin/hdfs dfs -ls input

 

[hadoop@server1 hadoop]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.3.jar grep input output 'dfs[a-z.]+'

 

 

hadoop高可用的部署与实现

新部署一台虚拟机，添加hadoop用户，并挂载到共享nfs文件系统上

[root@server4 ~]# useradd -u 1000 hadoop

[root@server4 ~]# yum install -y nfs-utils

[root@server4 ~]# systemctl start rpcbind

[root@server4 ~]# mount 172.25.81.1:/home/hadoop/ /home/hadoop/         ##通过nfs共享hadoop配置

[root@server4 ~]# su - hadoop

[hadoop@server4 ~]$ vim hadoop/etc/hadoop/workers

172.25.81.2
172.25.81.3
172.25.81.4

由于是nfs共享的文件，所以其他节点上同样修改成功。

[hadoop@server4 hadoop]$ bin/hdfs --daemon start datanode       ##启动该节点的datanode

配置yarn

参考https://hadoop.apache.org/docs/r3.0.3/hadoop-project-dist/hadoop-common/SingleCluster.html

[hadoop@server1 hadoop]$ pwd
/home/hadoop/hadoop
[hadoop@server1 hadoop]$ vim etc/hadoop/mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

    <property>
        <name>mapreduce.application.classpath</name>
        <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
    </property>
</configuration>

[hadoop@server1 hadoop]$ vim etc/hadoop/yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

 

[hadoop@server1 hadoop]$ sbin/start-yarn.sh      ##启动ResourceManager守护程序和NodeManager守护程序

注：如果server2和server3上面没有显示NodeManager，你可以在对应虚拟机上面执行：
[hadoop@server2 hadoop]$ ./sbin/yarn-daemon.sh start nodemanager

用zookeeper实现hadoop高可用

在典型的 HA 集群中,通常有两台不同的机器充当 NN。在任何时间,只有一台机器处于Active 状态;另一台机器是处于 Standby 状态。Active NN 负责集群中所有客户端的操作;而 Standby NN 主要用于备用,它主要维持足够的状态,如果必要,可以提供快速的故障恢复

在任何时候,集群中只有一个 NN 处于 Active 状态是极其重要的。否则,在两个 Active NN的状态下 NameSpace 状态将会出现分歧,这将会导致数据的丢失及其它不正确的结果。

为了让 Standby NN 的状态和 Active NN 保持同步,即元数据保持一致,它们都将会和JournalNodes 守护进程通信。

环境部署：

172.25.81.1	NN
172.25.81.2	DN ZK JN
172.25.81.3	DN ZK JN
172.25.81.4	DN ZK JN
172.25.81.5	NN

实验准备：

<1>恢复上面实验的环境

[hadoop@server1 hadoop]$ sbin/stop-yarn.sh

[hadoop@server1 hadoop]$ sbin/stop-dfs.sh

<2>清除之前实验产生的数据:

[hadoop@server1 ~]$ rm -fr /tmp/*

[hadoop@server2 ~]$ rm -fr /tmp/*

[hadoop@server3 ~]$ rm -fr /tmp/*

[hadoop@server4 ~]$ rm -fr /tmp/*

<3>测试新加的节点server5的免密

zookeeper节点安装配置（因为设置了nfs共享，所以在任一节点上操作都行）：

[hadoop@server2 ~]$ tar zxf zookeeper-3.4.9.tar.gz

[hadoop@server2 ~]$ cd zookeeper-3.4.9

[hadoop@server2 zookeeper-3.4.9]$ cd conf/

[hadoop@server2 conf]$ cp zoo_sample.cfg zoo.cfg

[hadoop@server2 conf]$ vim zoo.cfg

server.1=172.25.81.2:2888:3888
server.2=172.25.81.3:2888:3888
server.3=172.25.81.4:2888:3888

各节点配置文件相同,并且需要在/tmp/zookeeper 目录中创建 myid 文件,写入一个唯一的数字,取值范围在 1-255。比如:172.25.0.2 节点的 myid 文件写入数字“1”,此数字与配置文件中的定义保持一致,(server.1=172.25.0.2:2888:3888)其它节点依次类推。

[hadoop@server2 conf]$ mkdir /tmp/zookeeper

[hadoop@server2 conf]$ echo 1 > /tmp/zookeeper/myid

[hadoop@server3 ~]$ mkdir /tmp/zookeeper

[hadoop@server3 ~]$ echo 2 > /tmp/zookeeper/myid

[hadoop@server4 ~]$  mkdir /tmp/zookeeper

[hadoop@server4 ~]$ echo 3 > /tmp/zookeeper/myid

开启服务（ZK节点 server2 server3 server4）

[hadoop@server2 ~]$ cd zookeeper-3.4.9

[hadoop@server2 zookeeper-3.4.9]$ bin/zkServer.sh start

[hadoop@server3 ~]$ cd zookeeper-3.4.9

[hadoop@server3 zookeeper-3.4.9]$ bin/zkServer.sh start

[hadoop@server4 ~]$ cd zookeeper-3.4.9

[hadoop@server4 zookeeper-3.4.9]$ bin/zkServer.sh start

查看各节点看状态

查看进程

执行脚本进入zookeeper的交互式界面

[hadoop@server2 zookeeper-3.4.9]$ bin/zkCli.sh

[zk: localhost:2181(CONNECTED) 0] ls /zookeeper
[quota]
[zk: localhost:2181(CONNECTED) 1] ls /zookeeper/quota
[]
[zk: localhost:2181(CONNECTED) 2] get /zookeeper/quota

[zk: localhost:2181(CONNECTED) 3] quit

 

部署高可用

[hadoop@server1 hadoop]$ vim etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://masters</value>                ## 指定 hdfs 的 namenode 为 masters (名称可自定义)
    </property>       

<property>
<name>ha.zookeeper.quorum</name>
<value>172.25.81.2:2181,172.25.81.3:2181,172.25.81.4:2181</value>        ## 指定 zookeeper 集群主机地址

</property>
</configuration>

 

[hadoop@server1 hadoop]$ vim etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>

指定 hdfs 的 nameservices 为 masters,名称和 core-site.xml 文件中的设置保持一致：

<property>
<name>dfs.nameservices</name>
<value>masters</value>
</property>

masters 下面有两个 namenode 节点,分别是 h1 和 h2 (名称可自定义)：

<property>
<name>dfs.ha.namenodes.masters</name>
<value>h1,h2</value>
</property>

指定 h1 节点的 rpc 通信地址：

<property>
<name>dfs.namenode.rpc-address.masters.h1</name>
<value>172.25.81.1:9000</value>
</property>

指定 h1 节点的 http 通信地址：

<property>
<name>dfs.namenode.http-address.masters.h1</name>
<value>172.25.81.1:9870</value>
</property>

指定 h2 节点的 rpc 通信地址：

<property>
<name>dfs.namenode.rpc-address.masters.h2</name>
<value>172.25.81.5:9000</value>
</property>

指定 h2 节点的 http 通信地址：

<property>
<name>dfs.namenode.http-address.masters.h2</name>
<value>172.25.81.5:9870</value>
</property>

指定 NameNode 元数据在 JournalNode 上的存放位置：

<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://172.25.81.2:8485;172.25.81.3:8485;172.25.81.4:8485/masters</value>
</property>

指定 JournalNode 在本地磁盘存放数据的位置：

<property>
<name>dfs.journalnode.edits.dir</name>
<value>/tmp/journaldata</value>
</property>

开启 NameNode 失败自动切换：

<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>

配置失败自动切换实现方式：

<property>
<name>dfs.client.failover.proxy.provider.masters</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

配置隔离机制方法,每个机制占用一行：

<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>

使用 sshfence 隔离机制时需要 ssh 免密码：

<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value>
</property>

配置 sshfence 隔离机制超时时间：

<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>

在三个 DN 上依次启动 journalnode(第一次启动 hdfs 必须先启动 journalnode)：

[hadoop@server2 ~]$ cd hadoop
[hadoop@server2 hadoop]$ bin/hdfs --daemon start journalnode

[hadoop@server3 ~]$ cd hadoop
[hadoop@server3 hadoop]$ bin/hdfs --daemon start journalnode

[hadoop@server4 ~]$ cd hadoop
[hadoop@server4 hadoop]$ bin/hdfs --daemon start journalnode

server1配置

<1>格式化 HDFS 集群

[hadoop@server1 hadoop]$ bin/hdfs namenode -format

<2>将/tmp/hadoop-hadoop目录发送到server5:

[hadoop@server1 hadoop]$ scp -r /tmp/hadoop-hadoop 172.25.81.5:/tmp

<3>格式化 zookeeper

[hadoop@server1 hadoop]$ bin/hdfs zkfc -formatZK

<4>启动 hdfs 集群

[hadoop@server1 hadoop]$ sbin/start-dfs.sh

查看进程：

注：hadoop对哪些xml配置文件进行修改之后需要重启服务

服务器端相关的（NameNode、DataNode、JournalNode、ResourceManager、NodeManager），core- site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml的配置项修改只后都需要重启服务。

任务相关的配置，比如map/reduce申请的内存数、map/reduce提交时需要指定的额外的java参数等，就不需要重启服务。

浏览器测试：

可以看到server1状态为active，server5状态处于standby

 

进入zookeeper的交互式界面查看HA节点的状态

[hadoop@server2 hadoop]$ cd

[hadoop@server2 ~]$ cd zookeeper-3.4.9

[hadoop@server2 zookeeper-3.4.9]$ bin/zkCli.sh

[zk: localhost:2181(CONNECTED) 1] get /hadoop-ha/masters/ActiveBreadCrumb

高可用测试:

关闭状态处于active的namenode，当前是server1

重新启动server1的namenode

[hadoop@server1 hadoop]$ bin/hdfs --daemon start namenode

在浏览器中可以看到server5状态变为active，server1状态变为standby。

 

创建目录用于测试:

[hadoop@server1 hadoop]$ bin/hdfs dfs -mkdir -p /user/hadoop

[hadoop@server1 hadoop]$ bin/hdfs dfs -mkdir input

[hadoop@server1 hadoop]$ bin/hdfs dfs -put etc/hadoop/* input

浏览器查看：

注：处于standby状态的NN不能对HDFS文件系统进行操作

配置yarn高可用

<1>修改配置文件

[hadoop@server1 hadoop]$ vim etc/hadoop/mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

</configuration>

 

[hadoop@server1 hadoop]$ vim etc/hadoop/yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>

<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>RM_CLUSTER</value>
</property>

<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>

<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>172.25.81.1</value>
</property>

<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>172.25.81.5</value>
</property>

<property>
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>

<property>
<name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>

<property>
<name>yarn.resourcemanager.zk-address</name>
<value>172.25.81.2:2181,172.25.81.3:2181,172.25.81.4:2181</value>
</property>
</configuration>

<2>启动 yarn 服务

[hadoop@server1 hadoop]$ sbin/start-yarn.sh

查看进程发现server5已经开启了ResourceManager，此时server1需要手动开启该服务

[hadoop@server1 hadoop]$ bin/yarn --daemon start resourcemanager

[hadoop@server1 hadoop]$ jps
5184 ResourceManager
4025 NameNode
3580 DFSZKFailoverController
5228 Jps

浏览器测试:

可以看到server1的状态为standby，server5的状态为active。

 

 

测试 yarn 故障切换:

[hadoop@server1 hadoop]$ jps
5184 ResourceManager
4025 NameNode
3580 DFSZKFailoverController
5228 Jps

[hadoop@server1 hadoop]$ kill -9 5184

[hadoop@server1 hadoop]$ ./sbin/yarn-daemon.sh start resourcemanager

主备切换原理:
YARN 是如何实现多个 ResourceManager 之间的主备切换的:
创建锁节点 在 ZooKeeper 上会有一个/yarn-leader-election/appcluster-yarn 的锁节点,所有 的 ResourceManager 在 启 动 的 时 候 , 都 会 去 竞 争 写 一 个 Lock 子 节 点 :/yarn-leader-election/appcluster-yarn/ActiveBreadCrumb,该节点是临时节点。ZooKeepr 能够
为 我 们 保 证 最 终 只 有 一 个 ResourceManager 能 够 创 建 成 功 。 创 建 成 功 的 那 个ResourceManager 就切换为 Active 状态,没有成功的那些 ResourceManager 则切换为 Standby状态。