hadoopHA集群搭建

最新推荐文章于 2024-04-30 07:29:07 发布
最新推荐文章于 2024-04-30 07:29:07 发布
阅读量704 收藏 3
点赞数
分类专栏： 大数据 文章标签： hadoopHA集群搭建 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yang_zzu/article/details/108199608
版权

目录

A.修改配置文件

1. 修改hadoop-env.sh

2. 修改 core-site.xml

3.修改hdfs-site.xml

4.将修改的文件分发到其他节点

B.zookeeper 集群搭建

1. 下载安装包

2.上传文件夹，解压缩，

3.修改/etc/profile 文件

4.修改配置文件

5.将安装包分发到其他节点

6. 创建myid

7.启动zookeeper

启动

1. 所有节点关闭 journalnode

 2. 所有jnn 节点开启 journalnode 服务

3.格式化主节点

4.启动 namenode 节点

5.从节点同步数据

6.zookeeper集群注册（初始化）

7.启动集群

高可用验证：

问题：

yarn 集群

高可用集群搭建：

HA集群的搭建是基于，hadoop全分布集群的基础上搭建的：

全分布集群搭建：https://blog.csdn.net/yang_zzu/article/details/108171482

 

zk---> zookeeper ： namenode 节点单点故障自动切换

zkfc---->ZKFailoverController（ZKFC）是一个新组件，它是一个ZooKeeper客户端，它还监视和管理NameNode的状态

zkfc：1.运行状况监视

          2.ZooKeeper会话管理

          3.基于ZooKeeper的选举

JournalNode(JNN)-----》ANN（active namenode） 和 SNN（StandbyNameNode） 通过 JNN 集群来共享信息。SNN 可以确保在集群出错时，命名空间状态已经完全同步了，为了保持 SNN 实时的与 ANN 的元数据保持一致，他们之间交互通过一系列守护的轻量级进程 JournalNode。

A.修改配置文件

1. 修改hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_261-amd64
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HADOOP_SHELL_EXECNAME=root
export HDFS_ZKFC_USER=root
export HDFS_JOURNALNODE_USER=root

 

2. 修改 core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://mycluster</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/var/yang/hadoop/ha</value>
  </property>
  <property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
  </property>
  <property>
   <name>ha.zookeeper.quorum</name>
   <value>yang101:2181,yang102:2181,yang103:2181</value>
 </property>
</configuration>

 

3.修改hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
  <property>
    <name>dfs.nameservices</name>
    <value>mycluster</value>
  </property>
  <property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>yang100,yang101</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.mycluster.yang100</name>
    <value>yang100:8020</value>
  </property>
  <property>
    <name>dfs.namenode.rpc-address.mycluster.yang101</name>
    <value>yang101:8020</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.mycluster.yang100</name>
    <value>yang100:9870</value>
  </property>
  <property>
    <name>dfs.namenode.http-address.mycluster.yang101</name>
    <value>yang101:9870</value>
  </property>

  <property>
    <!-- journalnode节点 -->
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://yang100:8485;yang101:8485;yang102:8485/mycluster</value>
  </property>
  <property>
    <!-- 故障转移代理类，固定写法 -->
    <name>dfs.client.failover.proxy.provider.mycluster</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>

  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>sshfence</value>
  </property>
  <property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <!-- 私钥的存放地址 -->
    <value>/root/.ssh/id_rsa</value>
  </property>

  <property>
    <name>dfs.journalnode.edits.dir</name>
    <!-- journalnode数据的地址 -->
    <value>/var/yang/hadoop/ha/journalnode</value>
  </property>

  <!-- 开启namenode自动切换 -->
  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>

</configuration>

4.将修改的文件分发到其他节点

scp hadoop-env.sh hdfs-site.xml core-site.xml yang101:`pwd`

 

B.zookeeper 集群搭建

1. 下载安装包

官网下载地址：

https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.6.1/apache-zookeeper-3.6.1-bin.tar.gz

2.上传文件夹，解压缩，

3.修改/etc/profile 文件

# set java environment
JAVA_HOME=/usr/java/jdk1.8.0_261-amd64
JRE_HOME=/usr/java/jdk1.8.0_261-amd64/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
HADOOP_HOME=/app/hadoop-3.2.1
ZOOKEEPER_HOME=/app/apache-zookeeper-3.6.1-bin
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH HADOOP_HOME ZOOKEEPER_HOME PATH

重载profile 文件，将文件分发到102,103节点，然后在其他节点执行 source /etc/profile，重新加载配置文件

之前定义的是 101,102,103 节点作为zookeeper 的集群 

4.修改配置文件

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/var/yang/zookeeper
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1

## Metrics Providers
#
# https://prometheus.io Metrics Exporter
#metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider
#metricsProvider.httpPort=7000
#metricsProvider.exportJvmInfo=true
server.001=yang101:2888:3888
server.002=yang102:2888:3888
server.003=yang103:2888:3888

5.将安装包分发到其他节点

 scp -r /app/apache-zookeeper-3.6.1-bin yang103:/app/

6. 创建myid

创建的文件夹是 zoo.cfg 中配置的 dataDir=/var/yang/zookeeper

echo 001 > /var/yang/zookeeper/myid

myid 文件夹中的值对应 server 后面的值

server.001=yang101:2888:3888
server.002=yang102:2888:3888
server.003=yang103:2888:3888

7.启动zookeeper

所有zookeeper 节点都需要开启服务，然后关闭防火墙

zkServer.sh start

systemctl stop firewalld.service 

 

启动

1. 所有节点关闭 journalnode

hdfs --daemon stop journalnode

 2. 所有jnn 节点开启 journalnode 服务

hdfs --daemon start journalnode

3.格式化主节点

hdfs namenode -format

4.启动 namenode 节点

hadoop-daemon.sh start namenode

5.从节点同步数据

hdfs namenode -bootstrapStandby

6.zookeeper集群注册（初始化）

主节点  hdfs zkfc -formatZK

执行完之后，在zookeeper 的客户端可以看到多了一个 hadoop-ha 的文件夹

打开zookeeper 客户端 zkCli.sh

7.启动集群

start-dfs.sh

高可用验证：

分别模拟下面两种情况，会导致 namenode 主节点自动的迁移

模拟主节点宕机：hdfs --daemon stop namenode

模拟网络中断：hdfs --daemon stop zkfc

 

问题：

之前在做全分布安装的时候，数据没有清楚干净，导致我在做HA 的时候，造成 Live Nodes 节点的数量始终是0

yang100,yang101,yang102 这三个节点作为JournalNode 在启动journal 服务的时候，会进行格式化，

yang103 节点没有进行格式化处理，使得该节点还是 全分布的数据

解决方法：

1. 删除yang103 节点的 full 目录

2.停止 dfs 服务

3.开启 dfs 服务

yarn 集群

yarn集群搭建：https://mp.csdn.net/console/editor/html/108218395

 

 

yang_zzu
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop ha集群搭建1
08-08
ha会用到fusersudo yum install psmisc -y #关闭IPv6sudo vi /etc/modprobe.d/dist.conf 
【Hadoop】HA高可用搭建保姆级教程（大二学长的万字笔记）
你不来，再美的天地，都狼藉 ~
05-29 8822
Hadoop HA高可用搭建保姆级教程，来自正在学习大数据导论的大二学长的万字笔记，干得不能再干的干货分享！
Hadoop HA平台搭建
jerryhuang12的博客
08-02 733
一、引言 （一）项目背景 随着大数据时代的来临，分布式文件系统因其极高的可靠性和性能以及可扩展性越来越受到人们的青睐。对于如今各社交网络、电子商务平台和音乐平台等娱乐平台融入人们的日常生活，而其日渐增长的注册用户以及庞大的数据量便需要依靠分布式文件系统来进行处理。作为大数据平台Hadoop平台的存储核心，HDFS逐渐成为了一个用来进行数据处理的标准，但整个集群只有一个Namenode，若这一个Namenode损坏，则整个Hadoop集群将不可以使用，此时Hadoop的高可用性显得尤为重要。在Hadoop
【Hadoop】HA高可用搭建保姆级教程（大二学长的万字笔记）_hadoop的高可用搭建(1)
2401_84166396的博客
04-30 683
在是NameNode节点上的任意一个节点上初始化NameNode，并且只需要初始化一遍，这里我的集群中，hadoop102和hadoop103上都有NameNode，但是因为hadoop103上有DataNode，所以我 选择使用hadoop102作为初始化节点。下面是解压过程：（该过程只需要在一台节点上完成即可，我这里使用的hadoop102，其他的节点后面使用克隆）。分别在hadoop102，hadoop103，hadoop104三个节点上启动Zookeeper，因为这三个节点在集群规划中有JNN。
hadoop集群HA高可用搭建
weixin_64378412的博客
06-18 1611
在整个项目中我觉得最难的应该是HA，当然这是对于第一次配置HA高可用的我来说，因为我根据不同的博客配置了几次，要么就是两个Standby 状态的NameNode，要么就是一个Active状态的NameNode，一个Standby 状态的NameNode。但是当你kill 掉Active节点的NameNode，你就会发现，Standby 状态的NameNode没有成功切换为Active。我在配置了几次后，通过查看日志文件，发现拒绝连接，经过仔细阅读。问题出现在无法进行 fence。
hadoopHA搭建
互联网知识分享
07-19 249
关于理论部分，Hadoop HA 主要是通过引入 Standby NameNode，以及使用 Zookeeper 进行选举，解决了 Hadoop 1.x 中 NameNode 的单点故障问题。在 HA 架构中，Active NameNode 和 Standby NameNode 都有完整的文件系统元数据，而 Standby NameNode 会不断的从 Active NameNode 同步状态。：在每台机器上配置 ssh 免密码登录，以便 Hadoop 的各个组件可以在机器之间通信。将公钥复制到其他机器。
【Hadoop HA】搭建Hadoop HA的详细教程
HR的博客
04-13 6616
搭建Hadoop HA的详细教程前置工作配置host文件ssh免密登录JDK的配置ZooKeeper配置Hadoop HA配置文件core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml启动与测试 前置工作 配置host文件 在每个节点的/etc/hosts文件下加入 192.168.3.73 master 192.168.3.66 slave1 192.168.3.61 slave2 确保可以相互ping通 [root@host-192-168-3-.
大数据hadoop ha集群搭建流程.docx
10-31
。。。
大数据hadoop ha集群搭建流程.pdf
10-31
。。。
大数据hadoop ha集群搭建流程 (2).docx
10-31
。。。
大数据hadoop ha集群搭建流程 (2).pdf
10-31
。。。
大数据平台搭建（二）：hadoop HA 集群搭建
守得云开见月明
04-11 2737
前言      本章搭建zookeeper集群和hadoop集群 1.hadoop版本的选择     1.目前而言，不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）、Hor...
Hadoop HA 高可用集群搭建
weixin_52356946的博客
01-10 1060
Hadoop HA高可用集群搭建
Hadoop高可用(HA)集群搭建
five小点心的博客
02-15 2606
查看namenode节点状态：hdfs haadmin -getServiceState nn1|nn2。这里装了四台机器，ant151,ant152,ant153,ant154。恢复ant152的namenode进程。rm1状态：standby。kill掉active进程。rm2状态：active。可以直接运行脚本文件。
8.Hadoop的HA(高可用)模式集群搭建
weixin_52010459的博客
10-17 1839
详细说明Hadoop的HA模式搭建的过程，使用hadoop-3.1.3，jdk1.8.0_162
第四章 搭建Hadoop高可用集群（HA）
开朗小哥的博客
02-15 1997
系列文章： 第一章 Hadoop集群搭建的准备 第二章 Hadoop集群搭建 第三章 Zookeeper分布式集群部署（2n+1台虚拟机） 第四章 Hadoop高可用集群搭建（HA） 待更新 文章目录前言一、搭建普通Hadoop集群，设三台主机名为node1，node2，node3。二、Hadoop集群配置1.配置Hadoop集群的配置文件（配置文件都保存在/export/servers/hadoop-2.7.4/etc/hadoop目录下）（1）配置Hadoop集群主节点（这里将node1作为主节点） 
Hadoop HA 搭建
不搞数学的汤老师
05-03 3170
前言 环境介绍 虚拟机软件：VirtualBox Linux 发行版本：Ubuntu 20.04.4 虚拟机核心数：1 core 虚拟机内存：2 GB JDK 版本：1.8.0_202 Hadoop 版本：3.2.3 ZK 版本：3.8.0 实验机搭建 HA 概述 HA 即高可用，在 Hadoop 中，只有 NN 和 MR 会出现单点故障。所以只需要对 NN 和 MR 做 HA。 DN 和 NM 本身就会起多个，所以不存在单点 2NN 用以整合 Image 和 Edit，做 HA 后，处于 stand
hadoop——HA集群部署
m0_65809235的博客
06-28 1184
各节点布置NameNodeDataNodeNameNodeDataNode。
hadoop HA集群搭建
最新发布
06-16
Hadoop High Availability (HA) 集群是为了提高Apache Hadoop集群的可靠性和可用性而设计的一种架构。它通过将关键服务（如NameNode和JobTracker）冗余部署，并在主节点故障时自动切换到备用节点，保证了数据处理任务的持续进行。下面是Hadoop HA集群搭建的基本步骤： 1. **安装并配置Hadoop**: - 安装Hadoop到两个或更多节点上，每个节点都是一个独立的Hadoop集群实例。 - 配置`core-site.xml`和`hdfs-site.xml`文件，设置集群的名称节点（NameNode）和数据节点（DataNodes）。 2. **启用HDFS HA**: - 在`hdfs-site.xml`中，设置`ha.fencing.methods`指定节点之间的心跳检测方法，例如SSH或JMX。 - 创建一个HDFS HA配置文件，如`core-site.xml.template`，并在实际集群中创建对应的配置文件。 3. **配置高可用NameNode**: - 设置`ha.zookeeper.quorum`为ZooKeeper集群地址，用于选举新的Active NameNode。 - 配置`dfs.nameservice.id`定义NameNode服务名。 - 在`hdfs-site.xml`中启用`dfs.ha.namenodes.<nameservice-id>`属性。 4. **设置Secondary NameNode**: - 在`hdfs-site.xml`中启用`dfs.ha.automatic-failover.enabled`，并配置`dfs.ha.automatic-failover.retry-interval`和`dfs.ha.automatic-failover.timeout`。 5. **配置ZooKeeper**: - 如果没有使用ZooKeeper，需要配置一个或多个ZooKeeper服务器作为NameNode服务选举的协调器。 6. **启动HDFS服务**: - 启动HDFS集群，包括两个NameNode（一个为主，一个为备）和足够的DataNodes。 7. **验证集群状态**: 使用`hdfs haadmin`命令检查集群状态、启动/关闭心跳检测和手动触发Failover。 8. **配置YARN HA**: 对于YARN资源管理器，类似地，需要配置ResourceManager HA（RMHA），并设置HA模式。 9. **测试和监控**: 确保服务可用，执行负载测试，并设置监控工具（如Hadoop Metrics2或Ganglia）来监控性能和异常。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值