Hadoop的高可用集群搭建

最新推荐文章于 2024-04-29 21:44:11 发布

dagebaobao

最新推荐文章于 2024-04-29 21:44:11 发布

阅读量1.8k

点赞数 1

文章标签： hadoop linux

本文链接：https://blog.csdn.net/dagebaobao/article/details/104000339

版权

一、搭建规划：
hadoop 高可用集群的搭建依赖于 zookeeper，所以选取三台当做 zookeeper 集群，这里总共准备了八台主机(可按实际规划，不一定要这么多台)，分别是 hadoop01，hadoop02，hadoop03，hadoop04， hadoop05，zk01，zk02，zk03。其中 hadoop01 和 hadoop02 做 namenode 的主备切换，hadoop03 和 hadoop04 做 resourcemanager 的主备切换。zk01，zk02，zk03是zookeeper。具体安排可参加下表：在这里插入图片描述
二、搭建服务器前准备：
1.修改主机名称，将主机名改成表中hadoop01—hadoop05
2.增加主机名和ip的映射
3.添加普通用户 eastcom 用户并配置 visudo配置sudo 权限
4.安装jdk，并设置环境变量，这里装的是1.8版本
5.配置ssh免密登陆：
利用ssh-keygen生成密钥，再copy到其他机器上，这样就可以ssh免密登陆
ssh-copy-id -i /home/eastcom/.ssh/id_rsa.pub eastcom@172.16.100.122
6.安装zookeeper集群，这个可以参考网络教程：
https://www.cnblogs.com/wrong5566/p/6056788.html
这里主要介绍hadoop集群部署。
三、安装hadoop集群：
1.官网下载安装包：
建议不要下载source源码包，不然要自己编译。可以直接下载binary的，下完解压即可。本文档安装的版本为2.8.5
地址:https://hadoop.apache.org/releases.html
在这里插入图片描述
下载完，上传到服务器指定的目录解压即可，注意这里你只要先上传到hadoop01服务器即可，无需先将压缩包传到其他四台上！
2.修改配置文件(重点)：
配置文件目录：/home/eastcom/hadoop-2.8.5/etc/hadoop
(1)修改hadoop-env.sh
这个主要修改JAVA_HOME，把设置的JAVA_HOME加进去即可如图25行左右的位置：

     （2）修改core-site.xml，详情如下<configuration>模块极其注释：

fs.defaultFS hdfs://myha01/

<!-- 指定hadoop临时目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/home/eastcom/data/hadoopdata/</value>
</property>

<!-- 指定zookeeper地址 -->
<property>
    <name>ha.zookeeper.quorum</name>
    <value>zk01:2181,zk02:2181,zk03:2181</value>
</property>

<!-- hadoop链接zookeeper的超时时长设置 -->
<property>
    <name>ha.zookeeper.session-timeout.ms</name>
    <value>1000</value>
    <description>ms</description>
</property>

      (3) 修改hdfs-site.xml,详情如下<configuration>模块极其注释：

<!-- 指定副本数 -->
<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>

<!-- 配置namenode和datanode的工作目录-数据存储目录 -->
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/home/eastcom/data/hadoopdata/dfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/home/eastcom/data/hadoopdata/dfs/data</value>
</property>

<!-- 启用webhdfs -->
<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>

<!--指定hdfs的nameservice为myha01，需要和core-site.xml中的保持一致 
                      dfs.ha.namenodes.[nameservice id]为在nameservice中的每一个NameNode设置唯一标示符。 
    配置一个逗号分隔的NameNode ID列表。这将是被DataNode识别为所有的NameNode。 
    例如，如果使用"myha01"作为nameservice ID，并且使用"nn1"和"nn2"作为NameNodes标示符 
-->
<property>
    <name>dfs.nameservices</name>
    <value>myha01</value>
</property>

<!-- myha01下面有两个NameNode，分别是nn1，nn2 -->
<property>
    <name>dfs.ha.namenodes.myha01</name>
    <value>nn1,nn2</value>
</property>

<!-- nn1的RPC通信地址 -->
<property>
    <name>dfs.namenode.rpc-address.myha01.nn1</name>
    <value>hadoop01:9000</value>
</property>

<!-- nn1的http通信地址 -->
<property>
    <name>dfs.namenode.http-address.myha01.nn1</name>
    <value>hadoop01:50070</value>
</property>

<!-- nn2的RPC通信地址 -->
<property>
    <name>dfs.namenode.rpc-address.myha01.nn2</name>
    <value>hadoop02:9000</value>
</property>

<!-- nn2的http通信地址 -->
<property>
    <name>dfs.namenode.http-address.myha01.nn2</name>
    <value>hadoop02:50070</value>
</property>

<!-- 指定NameNode的edits元数据的共享存储位置。也就是JournalNode列表 
                      该url的配置格式：qjournal://host1:port1;host2:port2;host3:port3/journalId 
    journalId推荐使用nameservice，默认端口号是：8485 -->
<property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://hadoop01:8485;hadoop02:8485;hadoop03:8485/myha01</value>
</property>

<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/home/eastcom/data/journaldata</value>
</property>

<!-- 开启NameNode失败自动切换 -->
<property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
</property>

<!-- 配置失败自动切换实现方式 -->
<property>
    <name>dfs.client.failover.proxy.provider.myha01</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行 -->
<property>
    <name>dfs.ha.fencing.methods</name>
    <value>
        sshfence
        shell(/bin/true)
    </value>
</property>

<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
<property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/home/eastcom/.ssh/id_rsa</value>
</property>

<!-- 配置sshfence隔离机制超时时间 -->
<property>
    <name>dfs.ha.fencing.ssh.connect-timeout</name>
    <value>30000</value>
</property>

<property>
    <name>ha.failover-controller.cli-check.rpc-timeout.ms</name>
    <value>60000</value>
</property>

        (4) 修改mapred-site.xml,先

cp mapred-site.xml.template mapred-site.xml
再修改mapred-site.xml内容，详情如下模块及其注释：

mapreduce.framework.name
yarn

<!-- 指定mapreduce jobhistory地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop01:10020</value>
</property>

<!-- 任务历史服务器的web地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop01:19888</value>
</property>

yarn.resourcemanager.ha.enabled true

<!-- 指定RM的cluster id -->
<property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>yrc</value>
</property>

<!-- 指定RM的名字 -->
<property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>

      （5）修改yarn-site.xml 详情如下<configuration>模块及其注释：

yarn.resourcemanager.ha.enabled true

<!-- 指定RM的cluster id -->
<property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>yrc</value>
</property>

<!-- 指定RM的名字 -->
<property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
</property>

<!-- 分别指定RM的地址 -->
<property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>hadoop04</value>
</property>

<property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>hadoop05</value>
</property>

<!-- 指定zk集群地址 -->
<property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>zk01:2181,zk02:2181,zk03:2181</value>
</property>

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>

<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>86400</value>
</property>

<!-- 启用自动恢复 -->
<property>
    <name>yarn.resourcemanager.recovery.enabled</name>
    <value>true</value>
</property>

<!-- 制定resourcemanager的状态信息存储在zookeeper集群上 -->
<property>
    <name>yarn.resourcemanager.store.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>

       (6) 修改slaves(即加入datanode服务器)

hadoop03
hadoop04
hadoop05

将hadoop安装包分发到其他集群节点
重点：所有hadoop安装包的目录必须一致，安装包的配置信息还必须保持一致！！！
scp -r ./hadoop-2.8.5 hadoop2: $P W D s c p - r . / h a d o o p - 2.8.5 h a d o o p 02 :$ PWD
scp -r ./hadoop-2.8.5 hadoop03: $P W D s c p - r . / h a d o o p - 2.8.5 h a d o o p 04 :$ PWD
scp -r ./hadoop-2.8.5 hadoop05:$PWD
配置hadoop环境变量：
如下增加部分：
[eastcom@hadoop01 ~]$ cat .bashrc

.bashrc

Source global definitions

if [ -f /etc/bashrc ]; then
. /etc/bashrc
fi

Uncomment the following line if you don’t like systemctl’s auto-paging feature:

export SYSTEMD_PAGER=

User specific aliases and functions

export JAVA_HOME=/home/eastcom/jdk1.8.0_66
export PATH=: $JAVA_HOME/bin:$ PATH
export CLASS_PATH=.:$JAVA_HOME/lib

export HADOOP_HOME=/home/eastcom/hadoop-2.8.5/
export PATH= $P A T H :$ HADOOP_HOME/bin:$HADOOP_HOME/sbin:

记得使环境变量生效source .bashrc
生效后就可以利用hadoop version查看hadoop的版本了，如下在这里插入图片描述
四、Hadoop高可用集群初始化
按照以下步骤逐步进行操作：
1. 先启动已经安装的zookeeper：zkServer.sh start，
可以在hadoop上执行telnet zk01 2181测试一下保证你部署的三台zookeeper是”通的”：

2.在各个journalnode节点上启动该进程：
hadoop-daemon.sh start journalnode 在这里插入图片描述
3.格式化namenode
先选其中的hadoop01节点进行格式化
hadoop namenode –format
执行后会看到这一句关键字说明成功了.这个就是hadoop1生成的元数据
Storage directory /home/eastcom/data/hadoopdata/dfs/name has been successfully formatted.
4.把hadoop01节点上生成的元数据给复制到另一个namenode（hadoop02）上
cd data/
scp -r hadoopdata/ hadoop02:$PWD
就是这四个文件可以检查一下：
-rw-rw-r-- 1 eastcom eastcom 323 Jan 3 09:42 fsimage_0000000000000000000
-rw-rw-r-- 1 eastcom eastcom 62 Jan 3 09:42 fsimage_0000000000000000000.md5
-rw-rw-r-- 1 eastcom eastcom 2 Jan 3 09:42 seen_txid
-rw-rw-r-- 1 eastcom eastcom 218 Jan 3 09:42 VERSION
5．格式化zkfc(只能在namenode节点进行)
hdfs zkfc –formatZK
执行后可以看到关键句说明格式化成功：
Successfully created /hadoop-ha/myha01 in ZK
五、启动集群
1.启动HDFS
start-dfs.sh
启动完可以用jps查看进程在不在也可以用以下命令验证节点的状态：在这里插入图片描述
2.启动YARN
在主备 resourcemanager 中随便选择一台进行启动，若备用节点的 resourcemanager 没有启动起来，则手动启动起来
yarn-daemon.sh start resourcemanager然后查看一下YARN的状态：
3. 启动mapreduce任务历史服务器：
mr-jobhistory-daemon.sh start historyserver
4．用web页面进行查看：
验证HDFS：
hadloop01
在这里插入图片描述
Hadloop2
Datanode信息：
YARN验证
standby节点会自动跳到avtive节点
在浏览器172.16.100.125:8088自动跳到http://hadoop04:8088/因为我本机没有配hosts跳的页面打不开正常。所以可以输入ip172.16.100.124:8088来看。
这个过程能跳说明就ok的！
在这里插入图片描述
关于hadoop集群搭建过程差不多就这样。由于水平有限，请多指正！

dagebaobao

关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
Hadoop的高可用集群搭建

一、搭建规划：hadoop 高可用集群的搭建依赖于 zookeeper，所以选取三台当做 zookeeper 集群，这里总共准备了八台主机(可按实际规划，不一定要这么多台)，分别是 hadoop01，hadoop02，hadoop03，hadoop04， hadoop05，zk01，zk02，zk03。其中 hadoop01 和 hadoop02 做 namenode 的主备切换，hadoop...
复制链接

扫一扫