Hadoop2.7.7搭建高可用（HA）集群

最新推荐文章于 2022-11-22 17:32:27 发布
最新推荐文章于 2022-11-22 17:32:27 发布
阅读量684 收藏 7
点赞数 2
分类专栏： Hadoop 文章标签： Hadoop Zookeeper 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lichenglong33/article/details/103388875
版权

一、准备工作

1、集群规划

49.235.8.131  masterNameNode、DataNode、NodeManager、QuorumPeerMain、ResourceManager、DFSZKFailoverController、JournalNode
180.76.149.30 slave1NameNode、DataNode、NodeManager、QuorumPeerMain、ResourceManager、DFSZKFailoverController、JournalNode
183.76.179.221 slave2DataNode、NodeManager、JournalNode、QuorumPeerMain

2、三台机器安装JDK

3、配置SSH免密登录

4、搭建zookeeper集群

二、Hadoop集群安装

1、上传Hadoop安装包hadoop-2.7.7.tar.gz，并将其解压到hadoop（新建）目录下。

#上传安装包
[root@master hadoop]# rz -y
#解压到指定目录
[root@master software]# tar -xzvf hadoop-2.7.7.tar.gz -C /home/hadoop/

2、在hadoop目录下新建hdfs目录，hdfs目录下新建data、name、tmp目录。

[root@master hdfs]# mkdir -p /home/hadoop/hdfs
[root@master hdfs]# mkdir -p /home/hadoop/hdfs/data
[root@master hdfs]# mkdir -p /home/hadoop/hdfs/name
[root@master hdfs]# mkdir -p /home/hadoop/hdfs/tmp

3、修改hadoop-env.sh文件，配置HAVA_HOME如下

[root@master hdfs]# vim /home/hadoop/hadoop-2.7.7/etc/hadoop/hadoop-env.sh

#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/java/jdk1.8.0_161

4、修改core-site.xml

<configuration>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://mycluster</value>
</property>
<property>
   <name>hadoop.tmp.dir</name>
   <value>/home/hadoop/hdfs/tmp</value>
</property>
<property>
   <name>io.file.buffer.size</name>
   <value>131072</value>
</property>
<property>
   <name>hadoop.proxyuser.root.hosts</name>
   <value>*</value>
</property>
<property>
   <name>hadoop.proxyuser.root.groups</name>
   <value>*</value>
</property>
<!-- 指定zookeeper地址 -->
<property>
  <name>ha.zookeeper.quorum</name>
  <value>master:2181,slave1:2181,slave2:2181</value>
</property>
</configuration>

5、修改hdfs-site.xml

<configuration>
<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
</property>
<property>
<name>dfs.ha.namenodes.mycluster</name>
<value>nn1,nn2</value>
</property>
<!-- nn1，nn2的rpc远程过程调用地址和端口-->
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>master:9000</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>slave1:9000</value>
</property>
<!-- 两个名称节点nn1,nn2的webserver地址-->
<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>master:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>slave1:50070</value>
</property>
<!-- 指定NameNode的edits元数据在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://master:8485;slave1:8485;slave2:8485/mycluster</value>
</property>
<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/home/hadoop/journal/data/</value>
</property>

<!-- 开启NameNode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 指定该集群出故障时，哪个实现类负责执行故障切换 -->
<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!--容灾发生时，用于杀死原先active node，确保只有一个active态node-->
<!-- shell(/bin/true)确保防护方法最后返回成功 -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!--SSH私钥 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>

<!-- 配置sshfence隔离机制超时时间 -->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>

6、修改mapred-site.xml

<configuration>
<!-- 指定mr框架为yarn方式 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

7、修改yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<!-- 开启RM高可用 -->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>

<!-- 指定RM的cluster id -->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>yrc</value>
    </property>

<!-- 指定RM的名字 -->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>

<!-- 分别指定RM的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>master</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>slave1</value>
    </property>

<!-- 指定zk集群地址 -->
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>master:2181,slave1:2181,slave2:2181</value>
    </property>

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

</configuration>

8、修改slaves

master
slave1
slave2

三、Hadoop集群启动

1、启动zookeeper集群（master、slave1、slave2）

[root@master hadoop]# /home/zookeeper/zookeeper-3.4.14/bin/zkServer.sh start
[root@slave1 hadoop]# /home/zookeeper/zookeeper-3.4.14/bin/zkServer.sh start
[root@slave2 hadoop]# /home/zookeeper/zookeeper-3.4.14/bin/zkServer.sh start
#查看状态：一个leader，两个follower
[root@master hadoop]# /home/zookeeper/zookeeper-3.4.14/bin/zkServer.sh status
[root@slave1 hadoop]# /home/zookeeper/zookeeper-3.4.14/bin/zkServer.sh status
[root@slave2 hadoop]# /home/zookeeper/zookeeper-3.4.14/bin/zkServer.sh status

2、手动启动journalnode（分别在master、slave1、slave2上执行）

[root@master hadoop]# hadoop-daemon.sh start journalnode
[root@slave1 hadoop]# hadoop-daemon.sh start journalnode
[root@slave2 hadoop]# hadoop-daemon.sh start journalnode
#运行jps命令检验，master、slave1、slvae2上多了JournalNode进程

3、格式化namenode

 #格式化后会在根据core-site.xml中的hadoop.tmp.dir配置的目录下生成个hdfs初始化文件
[root@master hadoop]# hdfs namenode -format

4、把hadoop.tmp.dir配置的目录下所有文件拷贝到另一台namenode节点所在的机器上。

[root@master hadoop]# scp -r /home/hadoop/hdfs/ root@slave1:/home/hadoop/

5、格式化ZKFC(在active上执行即可)

[root@master hadoop]# hdfs zkfc -formatZK

6、启动HDFS

[root@master hadoop]# start-dfs.sh

7、启动YARN

[root@master hadoop]# start-yarn.sh

8、还需要手动在standby上手动启动备份的 resourcemanager

[root@slave1 hdfs]# yarn-daemon.sh start resourcemanager

9、JPS 查看启动进程

#master机器上
[root@master hadoop]# jps
28625 Jps
16258 DataNode
16472 JournalNode
5385 QuorumPeerMain
16793 ResourceManager
16906 NodeManager
16666 DFSZKFailoverController
17565 NameNode

#slave1 机器上jps
[root@slave1 hdfs]# jps
11328 NodeManager
11011 DataNode
10358 ResourceManager
11240 DFSZKFailoverController
7784 QuorumPeerMain
11113 JournalNode
11933 Jps
#slave2 机器上jps
[root@slave1 hdfs]# jps
11328 NodeManager
11011 DataNode
10358 ResourceManager
11240 DFSZKFailoverController
7784 QuorumPeerMain
11113 JournalNode
11933 Jps

四、验证集群可用性

http://49.235.8.131:50070/dfshealth.html#tab-overview

master:9000(active)

http://180.76.149.30:50070/dfshealth.html#tab-overview

slave1:9000' (standby)

测试集群工作状态的一些指令 ：

# 查看hdfs的各节点状态信息
[root@master hadoop]# hdfs dfsadmin -report

 

 

我是搬砖工人
关注
专栏目录
教程：centos7下hadoop2.7.7--HA高可用全分布式详细搭建
酒心★
11-15 956
一、概述 （1）hadoop-HA集群运作机制介绍 　　所谓HA，即高可用（7*24小时不中断服务） 　　实现高可用最关键的是消除单点故障 　　hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA （2）HDFS的HA机制详解 　　通过双namenode消除单点故障 　　双namenode协调工作的要点： 　　A、元数据管理方式需要改变： 　　　　内存中各自保存一...
Hadoop-HA高可用分布式集群总结
Biubiubiu!
03-14 1197
觉得有帮助的，请多多支持博主，点赞关注哦~ 文章目录Hadoop-HA高可用分布式集群一、HA概述二、HDFS-HA 工作机制1、HDFS-HA 工作要点2、HDFS-HA 自动故障转移工作机制三、总体配置及准备规划1、集群规划2、准备工作3、修改配置文件四、HDFS-HA 集群配置1、配置HDFS-HA集群2、配置 HDFS-HA 自动故障转移五、YARN-HA 配置1、YARN-HA 工作机制...
hadoop-2.7.7安装
xys2333的博客
10-15 3686
1.hadoop 安装地址 本人的安装地址为[root@localhost app]# pwd /opt/app 在shell中可以直接用wget. wgethttp://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz 下载地址： https://www-eu.apache.org/dist/hadoop/core/ 2.解压hadoop-2.7.7.tar.gz [root@loc...
Hadoop2.7.5 高可用（HA）集群搭建
weixin_44387652的博客
03-04 927
Hadoop2.7.5 高可用（HA）集群搭建1、Hadoop HA 原理概述2、集群规划3、集群服务器准备4、集群安装4.1、安装 Zookeeper 集群：4.2、安装 hadoop 集群4.2.1、安装 hadoop4.2.2、修改 hadoop-env.sh4.2.3、修改 core-site.xml4.2.4、修改 hdfs-site.xml4.2.5、修改 mapred-site.xml4.2.6、修改 yarn-site.xml4.2.7、修改 slaves4.2.8、分发配置后安装包文件到其
云计算-Hadoop-2.7.7 最小化集群的搭建（3台）
最新发布
yxn4065的博客
11-22 1576
上面我们虽然使用克隆的方式简化了对虚拟机的操作，但是，每个虚拟机都配置相同的的hadoop文件是不是过于麻烦了呢，答案是有的，所以我们这里采用shell，脚本的方式可以实现仅配置一台虚拟的的情况下对其它的2台虚拟机也同时进行配置。（下面进行的所有操作均可以在每台虚拟机独立执行，模板机仅为了方便后续配置。使用3台虚拟机进行集群的搭建，分别命名为hadoop101，hadoop102，hadoop103。下面进行各台虚拟机的ip地址和名称配置,这里先别着急用远程工具,现在虚拟机里面之间操作。
Hadoop 2.7集群环境搭建
陈海峰的博客
03-19 1063
hadoop 集群 hadoop mapreduce wordcount
hadoop2.7.7 分布式集群安装与配置
weixin_30593443的博客
07-24 119
环境准备 服务器四台: 系统信息 角色 hostname IP地址 Centos7.4 Mster hadoop-master-001 10.0.15.100 Centos7.4 Slave hadoop-slave-001 10.0.15.99 Centos7.4 Slave hadoop-slave-002 10.0.15....
Hadoop2.7.7集群安装
qq_35267557的博客
09-18 336
安装hadoop需要先安装jdk, 请参考：JDK1.8安装 1、节点准备和配置 修改hosts文件添加各节点IP和hostaname。 2、创建hadoop用户 先使用root用户创建hadoop用户 groupadd hadoop useradd hadoop -g hadoop passwd hadoop 以上是创建用户组，创建用户自该组，设置用户的密码，每一台机器都需要配...
Centos7+Hadoop2.7.7+Hive2.3.0+Hbase2.0.2+spark2.4+zookeeper3.4.10搭建分布式大数据集群
u012893747的博客
12-03 4011
虚拟机准备3台，分别是hadoop01 hadoop02 hadoop03，所装系统为centos7 一、机器基础配置（所有机器） 1.修改主机名 vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop01 NETWORKING_IPV6=no PEERNTP=no vim /etc/hostname hadoop01 2.主...
hadoop-2.7.7.tar.gz
04-26
HDFS是一种分布式文件系统，它允许数据跨多台机器存储，确保高可用性和容错性。MapReduce则是一种编程模型，用于处理和生成大规模数据集。 在安装Hadoop 2.7.7时，我们需要进行以下步骤： 1. **配置环境变量**：将...
hadoop2.7.2HA集群安装
11-02
hadoop2.7.2HA集群安装
hadoop-2.7.7.tar.gz.rar
11-07
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算 。
hadoop-2.7.7-native.tar.gz
01-03
hadoop-2.7.7源码编译的native本地库，包括snappy压缩库
hadoop-2.7.7.tar.gz+zookeeper-3.4.14.tar.gz.zip
09-21
hadoop-2.7.7.tar.gz+zookeeper-3.4.14.tar.gz.zip，配置hadoop+zookeeper必须，版本已适配。 hbase下载链接：https://download.csdn.net/download/tracelessle/11797862； sqoop + jdk + mysql-connector-java下载链接：https://download.csdn.net/download/tracelessle/11797875。
【Hadoop HA】搭建Hadoop HA的详细教程
HR的博客
04-13 7077
搭建Hadoop HA的详细教程前置工作配置host文件ssh免密登录JDK的配置ZooKeeper配置Hadoop HA配置文件core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml启动与测试 前置工作 配置host文件 在每个节点的/etc/hosts文件下加入 192.168.3.73 master 192.168.3.66 slave1 192.168.3.61 slave2 确保可以相互ping通 [root@host-192-168-3-.
hadoop2.7 HA 高可用配置
weixin_34237596的博客
11-19 222
为什么80%的码农都做不了架构师？>>> ...
hadoop-2.7.7.tar.gz 安装
软件手的博客
02-09 2392
一、解压 [root@master app]# tar -zxvf hadoop-2.7.7.tar.gz -C /usr/local/src/ [root@master src]# mv hadoop-2.7.7/ hadoop [root@master src]# ls hadoop jdk [root@master src]# 进去 [root@master src]# mv had...
集群搭建 - 配置Hadoop集群模式【图文】
04-14 180
集群部署规划 HDFS： hadoop102：NameNode, DataNode hadoop103: DataNode hadoop104: SecondaryNameNode, DataNode YARN: hadoop102: NodeManager hadoop103: ResourceManager, NodeManager hadoo...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我是搬砖工人

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值