Hadoop高可用集群搭建

最新推荐文章于 2023-05-22 22:54:20 发布
最新推荐文章于 2023-05-22 22:54:20 发布
阅读量111 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hanlipenghanlipeng/article/details/86241595
版权

Hadoop高可用集群搭建（HA）

1. 环境介绍

1.1 版本说明

  • hadoop版本是2.7.3
  • zookeeper使用的是3.4.5
  • jdk使用的是jdk1.8

1.2 集群规划

主机名IP安装的软件运行的进程
mini1192.168.1.200jdk、hadoopNameNode、DFSZKFailoverController(zkfc)
mini2192.168.1.201jdk、hadoopNameNode、DFSZKFailoverController(zkfc)
mini3192.168.1.202jdk、hadoopResourceManager
mini4192.168.1.203jdk、hadoopResourceManager
mini5192.168.1.205jdk、hadoop、zookeeperDataNode、NodeManager、JournalNode、QuorumPeerMain
mini6192.168.1.206jdk、hadoop、zookeeperDataNode、NodeManager、JournalNode、QuorumPeerMain
mini7192.168.1.207jdk、hadoop、zookeeperDataNode、NodeManager、JournalNode、QuorumPeerMain

1.3 HA说明

  1. 在hadoop2.x中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。
  2. HA中没有secendarynamenode，secendarynamenode的工作由Standby NameNode所完成。
  3. hadoop2.x官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode.
  4. 这里还配置了一个zookeeper集群，用ZKFC（DFSZKFailoverController）故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为standby状态。
  5. hadoop-2.2.0中依然存在一个问题，就是ResourceManager只有一个，存在单点故障，hadoop-2.6.4解决了这个问题，有两个ResourceManager，一个是Active，一个是Standby，状态由zookeeper进行协调。

2. HA集群安装配置

2.1 搭建Hadoop前期工作

  1. 修改Linux主机名
  2. 修改IP
  3. 修改主机名和IP的映射关系 /etc/hosts
    注意:如果你们公司是租用的服务器或是使用的云主机（如华为用主机、阿里云主机等）
    /etc/hosts里面要配置的是内网IP地址和主机名的映射关系
  4. 关闭防火墙
  5. ssh免登陆
  6. 安装JDK，配置环境变量等

2.2 搭建zookeeper

2.2.1 解压zookeeper

tar -zxvf zookeeper-3.4.5.tar.gz -C /home/hadoop/app/

2.2.2修改配置

将zoo_sample.cfg文件重命名为zoo.cfg

cd /home/hadoop/app/zookeeper-3.4.5/conf/
cp zoo_sample.cfg zoo.cfg

修改zoo.cfg文件

vi zoo.cfg

#修改：
dataDir=/home/hadoop/app/zookeeper-3.4.5/tmp
#在最后添加：
server.1=mini05:2888:3888
server.2=mini06:2888:3888
server.3=mini07:2888:3888

保存退出
然后创建一个tmp文件夹

mkdir /home/hadoop/app/zookeeper-3.4.5/tmp
echo 1 > /home/hadoop/app/zookeeper-3.4.5/tmp/myid

2.2.3 拷贝zookeeper到其他节点

将配置好的zookeeper拷贝到其他节点(首先分别在mini06、mini07根目录下创建一个hadoop目录：mkdir /hadoop)

分别拷贝到mini06、mini07 ：

scp -r /home/hadoop/app/zookeeper-3.4.5/ mini06:/home/hadoop/app/
scp -r /home/hadoop/app/zookeeper-3.4.5/ mini07:/home/hadoop/app/

注意：修改mini06、mini07对应/hadoop/zookeeper-3.4.5/tmp/myid内容.
mini06：

echo 2 > /home/hadoop/app/zookeeper-3.4.5/tmp/myid

mini07:

echo 3 > /home/hadoop/app/zookeeper-3.4.5/tmp/myid

2.3 安装配置Hadoop集群（在mini01上操作）

2.3.1 解压Hadoop

tar -zxvf hadoop-2.7.3.tar.gz -C /home/hadoop/app/

2.3.2 配置环境变量

将hadoop添加到环境变量中
vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_102
export HADOOP_HOME=/hadoop/hadoop-2.7.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

2.3.3 修改hadoo-env.sh

hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下,所以需要先进入/home/hadoop/app/hadoop-2.7.3/etc/hadoop目录，下面的文件修改就不在描述进入/home/hadoop/app/hadoop-2.7.3/etc/hadoop了

cd /home/hadoop/app/hadoop-2.7.3/etc/hadoop

然后修改hadoo-env.sh
主要修改使用的jdk

export JAVA_HOME=/home/hadoop/app/jdk1.8.0_102

2.3.4 修改core-site.xml

注意这里面已经把HDFS访问路径抽象出来一个统一的访问接口了

<configuration>
	<!-- 指定hdfs的nameservice为ns1 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://bi/</value>
	</property>
	<!-- 指定hadoop临时目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/home/hadoop/app/hdpdata/</value>
	</property>
	<!-- 指定zookeeper地址 -->
	<property>
		<name>ha.zookeeper.quorum</name>
		<value>mini5:2181,mini6:2181,mini7:2181</value>
	</property>
</configuration>

2.3.5 修改hdfs-site.xml

<configuration>
	<!--指定hdfs的nameservice为bi，需要和core-site.xml中的保持一致 -->
	<property>
		<name>dfs.nameservices</name>
		<value>bi</value>
	</property>
	<!-- bi下面有两个NameNode，分别是nn1，nn2 -->
	<property>
		<name>dfs.ha.namenodes.bi</name>
		<value>nn1,nn2</value>
	</property>
	<!-- nn1的RPC通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.bi.nn1</name>
		<value>mini1:9000</value>
	</property>
	<!-- nn1的http通信地址 -->
	<property>
		<name>dfs.namenode.http-address.bi.nn1</name>
		<value>mini1:50070</value>
	</property>
	<!-- nn2的RPC通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.bi.nn2</name>
		<value>mini2:9000</value>
	</property>
	<!-- nn2的http通信地址 -->
	<property>
		<name>dfs.namenode.http-address.bi.nn2</name>
		<value>mini2:50070</value>
	</property>
	<!-- 指定NameNode的edits元数据在JournalNode上的存放位置 -->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://mini5:8485;mini6:8485;mini7:8485/bi</value>
	</property>
	<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/home/hadoop/journaldata</value>
	</property>
	<!-- 开启NameNode失败自动切换 -->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
	<!-- 配置失败自动切换实现方式 -->
	<property>
		<name>dfs.client.failover.proxy.provider.bi</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>
		sshfence
		shell(/bin/true)
		</value>
	</property>
	<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/home/hadoop/.ssh/id_rsa</value>
	</property>
	<!-- 配置sshfence隔离机制超时时间 -->
	<property>
		<name>dfs.ha.fencing.ssh.connect-timeout</name>
		<value>30000</value>
	</property>
</configuration>

2.3.6 修改mapred-site.xml

<configuration>
	<!-- 指定mr框架为yarn方式 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

2.3.7 修改yarn-site.xml

<configuration>
	<!-- 开启RM高可用 -->
	<property>
		<name>yarn.resourcemanager.ha.enabled</name>
		<value>true</value>
	</property>
	<!-- 指定RM的cluster id -->
	<property>
		<name>yarn.resourcemanager.cluster-id</name>
		<value>yrc</value>
	</property>
	<!-- 指定RM的名字 -->
	<property>
		<name>yarn.resourcemanager.ha.rm-ids</name>
		<value>rm1,rm2</value>
	</property>
	<!-- 分别指定RM的地址 -->
	<property>
	<name>yarn.resourcemanager.hostname.rm1</name>
		<value>mini3</value>
		</property>
	<property>
		<name>yarn.resourcemanager.hostname.rm2</name>
		<value>mini4</value>
	</property>
	<!-- 指定zk集群地址 -->
	<property>
		<name>yarn.resourcemanager.zk-address</name>
		<value>mini5:2181,mini6:2181,mini7:2181</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

2.3.8 修改slaves

  • slaves是指定子节点的位置，因为要在hadoop01上启动HDFS、在hadoop03启动yarn，所以hadoop01上的slaves文件指定的是datanode的位置，hadoop03上的slaves文件指定的是nodemanager的位置。
mini5
mini6
mini7

2.3.9 将配置好的hadoop拷贝到其他节点

scp -r /hadoop/ mini02:/
scp -r /hadoop/ mini03:/
scp -r /hadoop/hadoop-2.7.3/ hadoop@mini04:/hadoop/
scp -r /hadoop/hadoop-2.7.3/ hadoop@mini05:/hadoop/
scp -r /hadoop/hadoop-2.7.3/ hadoop@mini06:/hadoop/
scp -r /hadoop/hadoop-2.7.3/ hadoop@mini07:/hadoop/

2.4 首次启动集群（Hadoop-HA）

首次启动严格按照以下顺序启动，应为需要格式化集群

2.4.1 启动zookeeper集群（分别在mini5、mini6、mini7上启动zk）

启动zookeeper

cd /hadoop/zookeeper-3.4.5/bin/
./zkServer.sh start

查看启动状态，一个leader，两个follower

./zkServer.sh status

2.4.2 启动journalnode（分别在在mini5、mini6、mini7上执行）

执行

cd /hadoop/hadoop-2.7.3
sbin/hadoop-daemon.sh start journalnode

运行jps命令检验，mini05、mini06、mini07上多了JournalNode进程就是ok的了

2.4.3 格式化HDFS

在mini1上执行命令:

hdfs namenode -format

格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/hadoop/hadoop-2.7.3/tmp，然后将/hadoop/hadoop-2.7.3/tmp拷贝到mini02的/hadoop/hadoop-2.7.3/下。
拷贝数据可以使用命令：

scp -r tmp/ mini02:/home/hadoop/app/hadoop-2.7.3/

也可以使用以下命令进行数据拷贝：

hdfs namenode -bootstrapStandby

2.4.4 格式化ZKFC

在mini1上执行一次即可

hdfs zkfc -formatZK

2.4.5 启动HDFS

在mini01上执行

sbin/start-dfs.sh

2.4.6 启动YARN

mini02上执行

sbin/start-yarn.sh

2.4.7 验证

到此hadoop的配置已经配置完毕，可以进行HA验证，进行浏览器访问：

  • http://hadoop00:50070
    出现一个active NameNode ‘mini01:9000’ (active)
  • http://mini01:50070
    出现一个standby NameNode ‘mini02:9000’ (standby)
    同时也可以进行单个节点进行杀死，看namenode，resoucemaneger是否会进行切换。

2.4 再次启动

集群再次启动就不要那么繁琐了，只需要一次启动

  • 启动zookeeper(zkServer.sh start)
  • 启动HDFS(start-dfs.sh)
  • 启动YARN(start-yarn.sh)
本文由鹏鹏出品
韩利鹏
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop高可用集群搭建步骤
weixin_51104731的博客
07-27 1795
搭建hadoo高可用集群的详细步骤
hadoop高可用集群搭建
weixin_35749440的博客
02-15 222
Hadoop是一个分布式的大数据处理框架，为了保证Hadoop集群的高可用性，我们需要搭建一个高可用的Hadoop集群。 下面是一个基本的Hadoop高可用集群搭建流程： 配置Hadoop集群的基础环境，包括安装JDK、SSH、NTP等必要的软件和服务。 配置Hadoop集群的主节点和从节点，在主节点上配置ZooKeeper集群，从节点上安装HDFS和YARN组件。 配置Hadoop集群的HA(...
大数据开发学习——Hadoop高可用集群搭建
weixin_48169169的博客
06-29 3839
Hadoop高可用集群搭建。这个集群搭建仅用于学习，并非生产环境。项目背景为新闻日志分析，是学校实训课项目所使用环境，记录一下集群搭建的过程。
基础篇五 Hadoop高可用集群搭建
Andy的博客
05-29 1087
目录 文章导读 Hadoop下载 Hadoop解压 Hadoop高可用配置 核心配置 hdfs配置 yarn配置 mapred配置 修改hadoop-env.sh 配置环境变量 分发安装包 启动Zookeeper 启动Hadoop 启动journalnode hdfs格式化 zkfc格式化 namenode主从同步 启动HDFS 启动YARN 在hadoop02节点上手动启动备用的resourcemanager 参考文章 文章导读 大数据高...
大数据——hadoop高可用集群搭建
蜂蜜柚子加苦茶
09-08 535
hadoop高可用集群搭建配置HDFS-HA集群启动HDFS-HA集群 配置HDFS-HA集群 保证hadoop集群搭建成功。hadoop集群搭建 保证zookeeper时区同步和集群搭建成功。zookeeper的安装配置和zookeeper集群的时区同步配置 以三台机器为例，hadoop01为主节点，hadoop06为备用节点，hadoop07为参与高可用集群的普通机器。 主机名 ip地址 namenode QuorumPeerMain JournalNode NodeManager JobH
【Hadoop】高可用集群搭建
你不来，再美的天地，都狼藉 ~
05-22 4306
一文带你了解Hadoop的HA高可用搭建!
hadoop 高可用集群搭建(HA)学期总结（如有错误请给予纠正）
m0_58958839的博客
01-05 2260
（一）准备工作： Linux使用的是CentOS-7-x86 官网下载地址：https://archive.kernel.org/centos-vault/7.6.1810/isos/x86_64/ 虚拟机VMware Workstation 16 Pro 这个网站上去搞懂得都懂 Hadoop安装包版本：hadoop-2.7.4 官网下载地址:https://archive.apache.org/dist/hadoop/core/hadoop-2.7.6/ jdk安装版本：jdk-8u211.
hadoop高可用集群搭建手册.docx
04-17
Hadoop高可用集群搭建手册 本文档主要介绍了Hadoop 2.6高可用集群的搭建过程，包括集群规划、搭建准备、集群搭建和配置等步骤。下面是从中提取的知识点： 1. 集群规划 在规划Hadoop集群时，需要考虑到集群的拓扑...
基于 ZooKeeper 搭建 Hadoop 高可用集群 的教程图解
09-29
Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多，所以它的实现也更加复杂，下面给大家详细...
hadoop高可用集群搭建及参数优化
06-17
hadoop高可用集群搭建及参数优化hadoop高可用集群搭建及参数优化hadoop高可用集群搭建及参数优化
基于Zookeeper搭建Hadoop高可用集群
最新发布
06-15
基于 Zookeeper 搭建 Hadoop 高可用集群 基于 Zookeeper 搭建 Hadoop 高可用集群是指使用 Zookeeper 实现 Hadoop 集群的高可用性，确保 Hadoop 集群的可靠性和稳定性。高可用性是指系统在面临故障或错误时仍能继续...
spark与spring集成做web接口
韩利鹏
11-03 9523
需要实现的功能：写访问spark的接口，也就是从web上输入网址就能把我们需要的信息通过提交一个job然后返回给我们json数据。 成果展示： 通过url请求，然后的到一个wordcount的json结果（借助的是谷歌浏览器postman插件显示的，直接在浏览器上输入网址是一样的效果） 使用的关键技术： java语言编程，springmvc框架，tomcat容器，spark框架，scala相
从HDFS复制一个文件夹到HDFS
韩利鹏
09-28 6300
从HDFS复制一个文件夹到HDFS public class FileHandle { /** * 设置hadoop HDFS 初始化配置方法 * @throws IOException */ public static FileSystem init(){
Hbase shell命令简单使用
韩利鹏
10-06 5973
hbase shell命令的简单使用进入hbase命令行./hbase shell显示hbase中的表list创建user表，包含info、data两个列族create 'user', 'info1', 'data1' create 'user', {NAME => 'info', VERSIONS => '3'}向user表中插入信息，row key为rk0001，列族info中添加name列标示
国内有哪些大数据公司？
韩利鹏
01-28 5344
国内大数据公司名单汇总 大数据近几年来可谓蓬勃发展，它不仅是企业趋势,也是一个改变了人类生活的技术创新。大数据对行业用户的重要性也日益突出。掌握数据资产,进行智能化决策,已成为企业脱颖而出的关键。因此,越来越多的企业开始重视大数据战略布局,并重新定义自己的核心竞争力。本文整理了在中国境内活跃的大数据领域最具影响力的企业，它们有的是计算机或者互联网领域的巨头，有的则是刚刚创办不久的初创企业。但它...
zookeeper和hadoop连接
韩利鹏
11-14 4384
单独安装hadoop或者zookeeper可以参考这两个博客 zookeeper的安装连接 http://blog.csdn.net/hanlipenghanlipeng/article/details/53157525 hadoop的安装地址http://blog.csdn.net/hanlipenghanlipeng/article/details/51960235 hadoop的安装连
ssh免密登陆脚本
韩利鹏
10-11 2352
运行脚本前面需要先配置好/etc/hosts文件的ip映射，这个脚本是根据hosts文件的ip进行免密登陆配置的 密码可以自己修改PWD_1 运行需要联网需要联网#!bin/bash #yum安装expect yum -y install expect #PWD_1是登陆密码，可以自己设定 PWD_1=123456 ips=$(cat /etc/hosts |grep -v "::" | gre

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值