高可用Hadoop2.X集群搭建

已于 2022-10-10 19:18:46 修改
阅读量709 收藏 2
点赞数 2
分类专栏： Hadoop 文章标签： linux zookeeper hadoop
于 2022-10-10 17:56:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Gooooot/article/details/127249388
版权

高可用Hadoop2.X集群搭建

准备工作：

通过https://blog.csdn.net/Gooooot/article/details/127234613脚本，配置虚拟机环境，安装JDK1.8及环境配置，并克隆两台虚拟机。三台虚拟机主机名与IP地址分别为：

  1. hd01：192.168.64.201
  2. hd02：192.168.64.202
  3. hd03：192.168.64.203

配置主机名映射：(三台都需要)

vim /etc/hosts
#添加如下信息
192.168.64.201 hd01
192.168.64.202 hd02
192.168.64.203 hd03

配置免密登录：

同步输入打开方式：
同步输入
选择所有会话，三个窗口同时操作。

#做ssh 公私钥 无秘
ssh-keygen -t rsa -P ''
# copy 公钥到 hd01 hd02 hd03
ssh-copy-id 192.168.64.201#hd01
ssh-copy-id 192.168.64.202#hd02
ssh-copy-id 192.168.64.203#hd03
#测试链接
ssh hd01

配置时间同步：

# 安装chrony
yum -y install chrony
#配置chrony
vi /etc/chrony.conf
server ntp1.aliyun.com
server ntp2.aliyun.com
server ntp3.aliyun.com
注释掉server 0.centos.pool.ntp.org iburst
#启动chrony
systemctl start chronyd

安装psmisc命令工具包：

#用于namenode主备切换
yum install -y psmisc

安装Zookeeper：

#把zookeeper-3.4.5-cdh5.14.2.tar.gz上传至/opt下
#解压文件夹
tar -zxf zookeeper-3.4.5-cdh5.14.2.tar.gz
#移动解压包至/opt/soft并改名为zk345
mv zookeeper-3.4.5-cdh5.14.2 soft/zk345
#进入conf文件夹
cd /opt/soft/zk345/conf
#复制配置文件命名为zoo.cfg
cp zoo_sample.cfg zoo.cfg
#修改zoo.cfg
vim zoo.cfg
#修改dataDir
dataDir=/opt/soft/zk345/data
#末尾添加
server.1=hd01:2888:3888
server.2=hd02:2888:3888
server.3=hd03:2888:3888
#在zk345文件夹下创建data文件夹
mkdir data
#把serverid写入myid（新建）文件，myid文件在data文件夹内
echo "1">myid

#超级拷贝zookeeper文件夹至hd02和hd03
scp -r /opt/soft/zk345 root@hd02:/opt/soft/
scp -r /opt/soft/zk345 root@hd03:/opt/soft/

#开启同步输入后
#需要将hd02和hd03的myid文件内容分别修改为2和3
vim /etc/profile
#在末尾添加：
export ZOOKEEPER_HOME=/opt/soft/zk345
export PATH=$PATH:$ZOOKEEPER_HOME/bin
#重新加载环境变量
source /etc/profile
#开启zookeeper
zkServer.sh start
#jps后，出现11496 Jps 11465 QuorumPeerMain即为成功

安装Hadoop2.X：

架构说明

#关闭同步输入，只留hd01
#安装hadoop
#把hadoop-2.6.0-cdh5.14.2.tar.gz上传至/opt下
#解压
tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz 
#把解压的文件夹移动到/opt/soft并重命名为hadoop260
mv hadoop-2.6.0-cdh5.14.2 soft/hadoop260
#创建5个文件夹
mkdir -p /opt/soft/hadoop260/tmp
mkdir -p /opt/soft/hadoop260/dfs/journalnode_data
mkdir -p /opt/soft/hadoop260/dfs/edits
mkdir -p /opt/soft/hadoop260/dfs/datanode_data
mkdir -p /opt/soft/hadoop260/dfs/namenode_data
#修改hadoop配置文件
vim /opt/soft//hadoop260/etc/hadoop/hadoop-env.sh 
# The java implementation to use.下一行修改为
export JAVA_HOME=/opt/soft/jdk1.8.0_111
#export JSVC_HOME=${JSVC_HOME}下一行修改为
export HADOOP_CONF_DIR=/opt/soft/hadoop260/etc/hadoop

Hadoop核心配置

cd /opt/soft/hadoop260/etc/hadoop
配置core-site.xml
vim core-site.xml 

<configuration>
<!--指定hadoop集群在zookeeper上注册的节点名-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hacluster</value>
</property>
<!--指定hadoop运行时产生的临时文件-->
<property>
<name>hadoop.tmp.dir</name>
<value>file:///opt/soft/hadoop260/tmp</value>
</property>
<!--设置缓存大小 默认4KB-->
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
<!--指定zookeeper的存放地址-->
<property>
<name>ha.zookeeper.quorum</name>
<value>hd01:2181,hd02:2181,hd03:2181</value>
</property>
<!--配置允许root代理访问主机节点-->
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<!--配置该节点允许root用户所属的组-->
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
</configuration>
hdfs-site.xml
vim hdfs-site.xml

<configuration>
<property>
<!--数据块默认大小128M-->
<name>dfs.block.size</name>
<value>134217728</value>
</property>
<property>
<!--副本数量 不配置默认为3-->
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<!--namenode节点数据(元数据)的存放位置-->
<name>dfs.name.dir</name>
<value>file:///opt/soft/hadoop260/dfs/namenode_data</value>
</property>
<property>
<!--datanode节点数据(元数据)的存放位置-->
<name>dfs.data.dir</name>
<value>file:///opt/soft/hadoop260/dfs/datanode_data</value>
</property>
<property>
<!--开启hdfs的webui界面-->
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<!--datanode上负责进行文件操作的线程数-->
<name>dfs.datanode.max.transfer.threads</name>
<value>4096</value>
</property>
<property>
<!--指定hadoop集群在zookeeper上的注册名-->
<name>dfs.nameservices</name>
<value>hacluster</value>
</property>
<property>
<!--hacluster集群下有两个namenode分别是nn1,nn2-->
<name>dfs.ha.namenodes.hacluster</name>
<value>nn1,nn2</value>
</property>
<!--nn1的rpc、servicepc和http通讯地址 -->
<property>
<name>dfs.namenode.rpc-address.hacluster.nn1</name>
<value>hd01:9000</value>
</property>
<property>
<name>dfs.namenode.servicepc-address.hacluster.nn1</name>
<value>hd01:53310</value>
</property>
<property>
<name>dfs.namenode.http-address.hacluster.nn1</name>
<value>hd01:50070</value>
</property>
<!--nn2的rpc、servicepc和http通讯地址 -->
<property>
<name>dfs.namenode.rpc-address.hacluster.nn2</name>
<value>hd02:9000</value>
</property>
<property>
<name>dfs.namenode.servicepc-address.hacluster.nn2</name>
<value>hd02:53310</value>
</property>
<property>
<name>dfs.namenode.http-address.hacluster.nn2</name>
<value>hd02:50070</value>
</property>
<property>
<!--指定Namenode的元数据在JournalNode上存放的位置-->
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hd01:8485;hd02:8485;hd03:8485/hacluster</value>
</property>
<property>
<!--指定JournalNode在本地磁盘的存储位置-->
<name>dfs.journalnode.edits.dir</name>
<value>/opt/soft/hadoop260/dfs/journalnode_data</value>
</property>
<property>
<!--指定namenode操作日志存储位置-->
<name>dfs.namenode.edits.dir</name>
<value>/opt/soft/hadoop260/dfs/edits</value>
</property>
<property>
<!--开启namenode故障转移自动切换-->
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<property>
<!--配置失败自动切换实现方式-->
<name>dfs.client.failover.proxy.provider.hacluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<!--配置隔离机制-->
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<property>
<!--配置隔离机制需要SSH免密登录-->
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<property>
<!--hdfs文件操作权限 false为不验证-->
<name>dfs.premissions</name>
<value>false</value>
</property>
</configuration>
mapper-site.xml
#复制mapred-site.xml.template文件重命名为mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
#
vim mapred-site.xml

<configuration>
<property>
<!--指定mapreduce在yarn上运行-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<!--配置历史服务器地址-->
<name>mapreduce.jobhistory.address</name>
<value>hd01:10020</value>
</property>
<property>
<!--配置历史服务器webUI地址-->
<name>mapreduce.jobhistory.webapp.address</name>
<value>hd01:19888</value>
</property>
<property>
<!--开启uber模式-->
<name>mapreduce.job.ubertask.enable</name>
<value>true</value>
</property>
</configuration>
yarn-site.xml
vim yarn-site.xml 

<configuration>
<property>
<!--开启yarn高可用-->
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<property>
<!-- 指定Yarn集群在zookeeper上注册的节点名-->
<name>yarn.resourcemanager.cluster-id</name>
<value>hayarn</value>
</property>
<property>
<!--指定两个resourcemanager的名称-->
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<property>
<!--指定rm1的主机-->
<name>yarn.resourcemanager.hostname.rm1</name>
<value>hd02</value>
</property>
<property>
<!--指定rm2的主机-->
<name>yarn.resourcemanager.hostname.rm2</name>
<value>hd03</value>
</property>
<property>
<!--配置zookeeper的地址-->
<name>yarn.resourcemanager.zk-address</name>
<value>hd01:2181,hd02:2181,hd03:2181</value>
</property>
<property>
<!--开启yarn恢复机制-->
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>
<property>
<!--配置执行resourcemanager恢复机制实现类-->
<name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
<property>
<!--指定主resourcemanager的地址-->
<name>yarn.resourcemanager.hostname</name>
<value>hd03</value>
</property>
<property>
<!--nodemanager获取数据的方式-->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<!--开启日志聚集功能-->
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<!--配置日志保留7天-->
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
</configuration>
配置slaves
vim slaves

hd01
hd02
hd03
集群配置：
#将/opt/soft/hadoop260拷贝至hd02和hd03
scp -r /opt/soft/hadoop260 root@hd02:/opt/soft/
scp -r /opt/soft/hadoop260 root@hd03:/opt/soft/

#开启同步输入
vim /etc/profile
#在zookeeper配置下添加如下
#hadoop
export HADOOP_HOME=/opt/soft/hadoop260
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

#重新加载系统变量
source /etc/profile
集群启动：
#启动JournalNode(3个都启动)
hadoop-daemon.sh start journalnode
#格式化namenode(只在hd01主机上)关闭同步输入，只留hd01
hdfs namenode -format
#将hd01上的Namenode的元数据复制到hd02相同位置，注意root前有空格
#保证hd01和hd02是同一个namenode
scp -r /opt/soft/hadoop260/dfs/namenode_data/current/ root@hd02:/opt/soft/hadoop260/dfs/namenode_data
#在hd01和hd02格式化故障转移控制器zkfc
hdfs zkfc -formatZK
#在hd01上启动dfs服务
start-dfs.sh
#在hd03上启动yarn服务
start-yarn.sh
#在hd01上启动history服务器
mr-jobhistory-daemon.sh start historyserver
#在hd02上启动resourcemanager服务
yarn-daemon.sh start resourcemanager

#配置完毕，检查是否全部正常开启
#hd01
[root@hd01 hadoop]# jps
11872 NameNode
12656 Jps
12561 JobHistoryServer
11602 JournalNode
12290 DFSZKFailoverController
11465 QuorumPeerMain
12410 NodeManager
11999 DataNode
#hd02
[root@hd02 soft]# jps
11905 DFSZKFailoverController
11410 QuorumPeerMain
12019 NodeManager
11684 NameNode
11780 DataNode
12196 ResourceManager
11530 JournalNode
12254 Jps
#hd03
[root@hd03 soft]# jps
11683 DataNode
11592 JournalNode
11836 ResourceManager
11469 QuorumPeerMain
11933 NodeManager
12269 Jps

检查主备NameNode的切换：

HDFS的web管理页面：

hd01 192.168.64.201:50070

web
hd02 192.168.64.202:50070
web1
主NameNode(hd01)正常运行时，状态为active;备NameNode(hd02)状态为standby。

主动kill主NameNode，模拟异常，检查DFSZKFailoverController故障自动转移是否生效，及备节点是否正常启动。(主节点进程为jps查看的NameNode进程号)

# kill 掉Namenode主节点 
kill -9 namenode主节点进程

此时主节点(hd01)HDFS网页端无法连接，备节点(hd02)状态为active
web5

# 重新开启主节点
hadoop-daemon.sh start namenode

web6
web7
此时，hd02变为主节点，状态仍为active；hd01为备节点，状态为standby，说明DFSZKFailoverController故障自动转移生效。

之之遇之之
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
【大数据Hadoop系列】Hadoop2.X集群环境搭建
weixin_54707168的博客
03-23 259
【大数据Hadoop系列】Hadoop2.X集群环境搭建
hadoop-2.x的环境搭建
04-29
关于hadoop2.x的安装，其中包括了一个完整的集群以及各种hadoop组件的安装和部署，解压包中包括了四篇的安装教程，超级完整。
一、Hadoop2.x完全分布式集群搭建
weixin_42499506的博客
12-26 165
实验环境规划 192.168.1.101 cmaster0 192.168.1.102 cslave0 192.168.1.103 cslave1 三台服务器都是安装的CentOS6.8操作系统 配置/etc/hosts [root@cmaster0 ~]# vi /etc/hosts 192.168.1.101 cmaster0 192.168.1.102 cslave0 192.16...
hadoop学习(三)----hadoop2.x完全分布式环境搭建
a2225791的博客
12-16 210
今天我们来完成hadoop2.x的完全分布式环境搭建，话说学习本来是一件很快乐的事情，可是一到了搭环境就怎么都让人快乐不起来啊，搭环境的时间比学习的时间还多。都是泪。话不多说，走起。 1 准备工作 开工之前先说一下我们的机器环境： 一共是4台主机...
Hadoop2.x的集群搭建与配置（七）——Hadoop安装与配置
铭chen的博客
03-21 253
这一步开始正式搭建hadoop，但是要确保前面的每一步都完成 首先要下载一个一些工具： 1.hadoop的安装包，linux版本的，后缀名市是tar.gz的这种 2.跨平台数据传输工具，这里推荐使用xshell和xftp，xshell用来链接linux，而xftp则用来将一些文件从本机传到linux中（这个是在本机安装的，不要放到虚拟机里） 第一步：将hadoop的安装包传输到master...
hadoop2.x集群搭建(1.0).txt
07-03
hadoop集群搭建过程
Hadoop2.X集群安装与配置
07-24
本片文档是整合的Hadoop2.X 的安装与配置，包含三个节点，希望对有所帮助
Hadoop2.x HA环境搭建
12-09
Hadoop2.x HA环境搭建Hadoop2.x HA环境搭建Hadoop2.x HA环境搭建
Hadoop 2.x与3.x 22点比较,Hadoop 3.x比2.x的改进
01-11
在这篇文章中，我们将讨论Hadoop 2.x与Hadoop 3.x之间的比较。 Hadoop3版本中添加了哪些新功能，Hadoop3中兼容的Hadoop 2程序，Hadoop 2和Hadoop 3有什么区别？ 二、Hadoop 2.x与Hadoop 3.x比较 本节将讲述Hadoop 2...
Hadoop3.3高可用环境搭建 .docx
11-29
五台虚拟机搭建Hadoop3.3.1高可用完全分布式环境
hadoop 高可用性HA部署
01-07
hadoop HA 高可用性 本文提供了一个HDFS 的高可用性（HA ）功能的概述，以及如何配置和管理HDFS 高可用性(HA) 集群。本文档假定读者具有对HDFS 集群的组件和节点类型具有一定理解
hadoop2高可用集群配置安装
任何技能都是从模仿开始，逐步升华。
10-06 1180
上一节演示了 hadoop2集群安装和测试 其中namenode节点是单点的，一旦namenode宕机，服务将不可使用。本节使用zookeeper配置hadoop namenode的可用集群，并使用yarn对hadoop提供统一的资源管理和调度。
Hadoop2.x搭建步骤
淡水鱼
04-23 329
在Linux上搭建好ssh免密环境后，先从Windows本地把hadoop-2.5.1-x64.tar.gz上传到节点node1上； 1.tar -zxvf hadoop-2.5.1-x64.tar.gz； 2.ln -sf /root/hadoop-2.5.1 /home/hadoop-2.5（建软链） 3. cd /home/ hadoop-2.5 ->  cd etc/hadoop/
hadoop2.x完全分布式环境搭建 | 适用于hadoop完全分布式集群环境搭建
Gamedev
11-05 639
转载请注明出处：http://blog.csdn.net/coder__cs/article/details/78571366 本文出自【elon33的博客】 hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.4.1又增加了YARN HA 注意：apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的，因为
hadoop2.x-HA高可用集群搭建
weixin_42886893的博客
09-10 192
1.修改Linux主机名 2.修改IP 3.修改主机名和IP的映射关系 /etc/hosts 4.关闭防火墙 5.ssh免登陆 这里我为了方便用的root用户 6.安装JDK，配置环境变量等 7.注意集群时间要同步 8.集群部署节点角色的规划（3节点） ![node-1节点角色](https://img-blog.csdnimg.cn/2019091010373178.png) ...
Hadoop2.x部署之完全分布式集群环境搭建
不清不慎的博客
03-31 1930
一、分布式部署概述 Hadoop环境的搭建有三种方式： 本地环境搭建 伪分布式环境搭建 完全分布式环境搭建集群 在前面的文章中，详细描述了如何搭建本地环境【https://blog.csdn.net/qq_37142346/article/details/78927584】及伪分布式环境【https://blog....
Hadoop2.X之高可用简介及环境搭建
ThisisWilli
07-26 261
Hadoop2.0之高可用 Hadoop2.0产生背景 Hadoop 1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题 HDFS存在的问题(2个) NameNode单点故障，难以应用于在线场景 HA（高可用） NameNode压力过大，且内存受限，影响扩展性 F（federation，多个NameNode同时工作） MapReduce存在的问题响系统 ...
第五节 Hadoop 2.0 高可用集群搭建(最详细版本)
云深不知处
09-30 1182
Hadoop Ha 高可用集群搭建最详细版本 包括各种组件的配置。以及操作步骤
Hadoop2.0高可用集群搭建【保姆级教程】
Charon_byc的博客
10-15 1374
Hadoop高可用集群搭建
hadoop2.x和hadoop3.x的区别
最新发布
03-16
Hadoop 2.x和Hadoop 3.x的区别主要在以下几个方面： 1. YARN的改进：Hadoop 2.x中引入了YARN（Yet Another Resource Negotiator），使得Hadoop可以支持多种计算框架，如MapReduce、Spark、Storm等。而Hadoop 3.x...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值