Hadoop之HDFS高可用集群部署

已于 2022-12-28 12:16:58 修改
阅读量403 收藏
点赞数
分类专栏： Zookeeper Hadoop 文章标签： hadoop 大数据 hdfs
于 2022-12-28 11:55:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yxdwind/article/details/128464457
版权

集群部署情况

HOSTJNNNSNNDNZKFCZK
node01##--#-
node02######
node03#--#-#
node04---#-#

基础操作

环境

centos7.5
jdk1.8
zookeeper 3.7.1
hadoop 2.6.5

基础设施

安装jdk

基本操作，不会的自行百度。

关闭防火墙

	systemctl stop firewalld
	systemctl disable firewalld
关闭 selinux
	vim /etc/selinux/config
	修改	SELINUX=disabled
做时间同步
	yum install ntp  -y
	vi /etc/ntp.conf
		server ntp1.aliyun.com
ssh免密：

ssh免密： ssh localhost 1,验证自己还没免密 2,被动生成了 /root/.ssh

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

如果A 想 免密的登陆到B：
A：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

B：

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

结论：B包含了A的公钥，A就可以免密的登陆

主要目的
  • 启动start-dfs.sh脚本的机器需要将公钥分发给别的节点
  • 在HA模式下，每一个NN身边会启动ZKFC，
    ZKFC会用免密的方式控制自己和其他NN节点的NN状态

安装

安装Zookeeper

下载

下载地址：https://zookeeper.apache.org/releases.html
本次安装使用zookeeper-3.7.1。下载apache-zookeeper-3.7.1-bin.tar.gz，一定要下载包名带bin的。

tar xf apache-zookeeper-3.7.1-bin.tar.gz
mv 	apache-zookeeper-3.7.1 zookeeper-3.7.1
mv zookeeper-3.7.1 /opt/bigdata/
修改配置文件
cd /opt/bigdata/zookeeper-3.7.1/conf
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
# 主要修改dataDir
dataDir=/var/bigdata/hadoop/zk
# 添加服务
server.1=node02:2888:3888
server.2=node03:2888:3888
server.3=node04:2888:3888
# 保存退出

只要在其中一台做好配置，通过scp复制到其他zk服务器即可。

scp -r ./zookeeper-3.7.1  node02:`pwd`
scp -r ./zookeeper-3.7.1  node03:`pwd`
scp -r ./zookeeper-3.7.1  node04:`pwd`
# 初始化myid 
#node02
echo 1 >  /var/bigdata/hadoop/zk/myid
#node03
echo 2 >  /var/bigdata/hadoop/zk/myid
#node04
echo 3 >  /var/bigdata/hadoop/zk/myid
配置环境变量
vim /etc/profile
# 添加ZOOKEEPER_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_351-amd64
export ZOOKEEPER_HOME=/opt/bigdata/zookeeper-3.7.1
export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin

# 保存后，记得操作，否则不生效
source /etc/profile
启动命令
zkServer.sh start
zkServer.sh start-foreground(启动zookeeper服务，并且查看运行过程中的异常。)
# 查看状态
zkServer.sh status

安装Hadoop

下载

下载地址：https://hadoop.apache.org/releases.html
本次安装使用hadoop-2.6.5。下载hadoop-2.6.5.tar.gz。

tar xf hadoop-2.6.5.tar.gz
mv hadoop-2.6.5 /opt/bigdata
添加环境变量
vim /etc/profile
# 添加ZOOKEEPER_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_351-amd64
export ZOOKEEPER_HOME=/opt/bigdata/zookeeper-3.7.1
export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin

# 保存后，记得操作，否则不生效
source /etc/profile
修改配置
配置hadoop的角色
# 必须给hadoop配置javahome要不ssh过去找不到
cd   $HADOOP_HOME/etc/hadoop
vi hadoop-env.sh
# 修改JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_351-amd64
配置core-site.xml
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://mycluster</value>
</property>

 <property>
   <name>ha.zookeeper.quorum</name>
   <value>node02:2181,node03:2181,node04:2181</value>
 </property>
配置hdfs-site.xml

  <property>
      <name>dfs.replication</name>
      <value>2</value>
  </property>

  <property>
      <name>dfs.namenode.name.dir</name>
      <value>/var/bigdata/hadoop/ha/dfs/name</value>
  </property>


  <property>
      <name>dfs.datanode.data.dir</name>
      <value>/var/bigdata/hadoop/ha/dfs/data</value>
  </property>


#一对多，逻辑到物理节点的映射
<property>
  <name>dfs.nameservices</name>
  <value>mycluster</value>
</property>
<property>
  <name>dfs.ha.namenodes.mycluster</name>
  <value>nn1,nn2</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  <value>node01:8020</value>
</property>
<property>
  <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  <value>node02:8020</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>node01:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>node02:50070</value>
</property>

#JN在哪里启动，数据存那个磁盘
<property>
  <name>dfs.namenode.shared.edits.dir</name>
 <value>qjournal://node01:8485;node02:8485;node03:8485/mycluster</value>
</property>
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/var/bigdata/hadoop/ha/dfs/jn</value>
</property>

#HA角色切换的代理类和实现方法，使用ssh免密
<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/root/.ssh/id_dsa</value>
</property>

#开启自动化： 启动zkfc
 <property>
   <name>dfs.ha.automatic-failover.enabled</name>
   <value>true</value>
 </property>

只要在其中一台做好配置，通过scp复制到其他zk服务器即可。

scp -r ./hadoop-2.6.5  node02:`pwd`
scp -r ./hadoop-2.6.5  node03:`pwd`
scp -r ./hadoop-2.6.5  node04:`pwd`

启动

启动JournalNode

在node01、node02、node03三台虚拟机分别启动

hadoop-daemon.sh start journalnode 
cd $HADOOP_HOME/logs
#查看是否启动成功，一般看最后一个日志文件
tail -f hadoop-root-journalnode-node03.log

格式化NameNode

选择一台做NN格式化：hdfs namenode -format（只有第一次搭建做，以后不用做）。
在node01执行如下

hdfs namenode -format
# 检查clusterID
cat /var/bigdata/hadoop/ha/dfs/name/current/VERSION

在部署journalnode的服务器查看日志，本次是node02和node03

cd /opt/bigdata/hadoop-2.6.5/logs
# 查看日志里面的cid是否等于上面的VERSION里面的clusterID
tail -f hadoop-root-journalnode-node03.log
# 查看VERSION里面的clusterID是否等于上面的VERSION里面的clusterID
cat /var/bigdata/hadoop/ha/dfs/jn/mycluster/current/VERSION

启动NameNode

启动格式化的NN ，以备另外一台同步(不能格式化，否则clusterID不一致)。
本次启动node01。

hadoop-daemon.sh start namenode

启动node02，会从node01同步元数据

hdfs namenode -bootstrapStandby

格式化Zookeeper

只有第一次搭建做，以后不用做
在node01执行。

 hdfs zkfc  -formatZK

启动

在node01

start-dfs.sh  
# 检查下面目录，发现edits开始同步
[root@node03 current]# pwd
/var/bigdata/hadoop/ha/dfs/jn/mycluster/current
[root@node03 current]# ll
total 1036
-rw-r--r-- 1 root root       0 Dec 28 03:28 committed-txid
-rw-r--r-- 1 root root 1048576 Dec 28 03:28 edits_inprogress_0000000000000000001
-rw-r--r-- 1 root root       2 Dec 28 03:28 last-promised-epoch
-rw-r--r-- 1 root root       2 Dec 28 03:28 last-writer-epoch
drwxr-xr-x 2 root root       6 Dec 28 03:03 paxos
-rw-r--r-- 1 root root     154 Dec 28 03:03 VERSION

检查NameNode服务器哪台是抢到锁，哪台就是主节点。

zkCli.sh
[zk: localhost:2181(CONNECTED) 5] ls /hadoop-ha/mycluster
[ActiveBreadCrumb, ActiveStandbyElectorLock]

[zk: localhost:2181(CONNECTED) 6] get /hadoop-ha/mycluster/ActiveStandbyElectorLock
        myclusternn1node01 �>(�

在浏览器分别访问node01:50070和node02:50070，查看各自状态。
在这里插入图片描述
在这里插入图片描述

harry7
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HadoopHA高可用集群配置 hdfs-site.xml
07-07
HadoopHA高可用集群配置 hdfs-site.xml
Hadoop中hdfs的部署
m0_61750117的博客
11-14 962
hdsf部署
HDFS部署
mfsh93的博客
09-05 706
1、下载安装包到software curl -O http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1.tar.gz 2、解压到~/application tar -zxvf hadoop-2.6.0-cdh5.15.1.tar.gz -C ~/application 3、添加系统环境变量 sudo vim ~/.bash_...
高可用集群搭建
weixin_44778060的博客
11-14 474
分布式环境搭建 1. 集群规划 使用完全分布式，实现ResourceManager的高可用集群运行服务规划 2. 安装包解压 停止之前的Hadoop集群的所有服务，然后重新解压编译后的Hadoop压缩包，解压压缩包 node1节点执行以下命令进行解压 mkdir -p /opt/software cd /opt/software/ tar -zxvf hadoop-2.7.5.tar.gz -C /export/server/ cd /export/servers/hadoop
HDFS集群的安装部署
jushentong的博客
10-14 5201
HDFS集群的安装部署一、安装前准备工作二、安装Java开发环境jdk三、安装HDFS集群 一、安装前准备工作 虚拟机上至少准备3台Linux服务器 1）关闭防火墙操作 firewall-cmd --state 查看防火墙运行状态 启动： systemctl start firewalld 关闭： systemctl stop firewalld 查看状态：systemctl status fir...
基于 ZooKeeper 搭建 Hadoop 高可用集群 的教程图解
01-11
Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多，所以它的实现也更加复杂，故下面先进行讲解...
Hadoop集群高可用与性能优化
04-22
HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供搞吞吐量的数据访问,非常适合大规模数据集上的应用。Hadoop MapReduce是一个使用简易的编程模型,基于它写出来的应用程序能够运行在由成千上万个商用...
配置高可用的Hadoop平台
01-30
这篇博客阐述如何搭建高可用的HDFS和YARN。然后根据提示，设置密码。接着我给hadoop用户设置面免密码权限，也可自行添加其他权限。将下载好的安装包解压到/usr/java/jdk1.7，然后设置环境变量，命令如下：然后编辑...
hadoop环境部署全套组件，下载后直接可用（虚拟机全套）
12-29
Hadoop部署平台全套组件，包含hdfs，hive，hbase，sqoop，mysql，flume等，包含大数据处理的全部组件功能！ 现成虚拟机，安装好的镜像，下载直接可运行！！！
部署hdfs
yinji200805030334的博客
04-30 311
hadoop三大组件： 1、hdfs 2、mapreduce 3、yarn 我们要求：hdfs三个进程要以hadoop001启动 hadoop部署文件目录：/home/ali/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop 1、有些版本的是在conf目录中 2、在这个目录下有*.cmd文件，这些文件是windows部署文件，在linux的机器上可以删掉啦 主要文件： co...
HDFS HA高可用集群搭建教程
Aries_Chen_CSDN的博客
05-06 408
前言 如果对英文比较熟悉，建议直接看hadoop官网 本文以hadoop-2.10.0为例来分享一下Centos6上的hadoop高可用集群的安装部署。实验环境使用三个节点 node01.aries.com node02.aries.com node03.aries.com 服务分布 服务 node01 node02 node03 NameNode 是 是 否 DataNod...
hadoop 分布式集群部署 一 HDFS 高可用部署（Observer NameNode 进行读写分离）
CodingDemo
07-26 392
在hadoop 3以后，引入一种称为`Observer NameNode`的新型`NameNode`来解决上述问题。与`Standby NameNode`类似，`Observer NameNode`使自己保持命名空间和块位置信息的最新状态，它能提供和`Active NameNode`一致读取的能力。由于一般环境中读取请求在占大多数，因此这有助于负载平衡`NameNode`流量并提高整体吞吐量。
HDFS高可用搭建
weixin_47260194的博客
02-26 1169
HDFS HA高可用集群部署
Hadoop大数据开发__HDFS分布式集群安装部署
玩火的稻草人的博客
06-22 313
1、下载解压Hadoop 2、修改HDFS配置文件 修改hadoop-env.sh 修改core-site.xml 修改hdfs-site.xml 修改slaves vi slaves 3、启动HDFS集群 4、验证HDFS集群是否成功 命令验证 如果上面没有异常，说明HDFS集群配置成功
HDFS基础架构以及部署
BlueStarY的博客
05-28 1229
Hadoop_HDFS集群部署。
HDFS HA 高可用集群搭建详细图文教程
最新发布
Stars.Sky 的博客
09-04 2341
HDFS HA 高可用搭建详细图文教程
HDFS高可用集群搭建
随我的博客
05-24 701
环境 CentOS 7 JAVA 1.8 Zookeeper 2.9.2 Hadoop 3.4.14 一、简单HDFS集群中存在的问题及解决办法 如何解决NameNode的单节点问题 多个NameNode备份原NameNode数据 如何解决多个NameNode是集群脑裂问题 使用QJM，QJM（Quorum Journal Manager）是Hadoop专门为Namenode共享存储开发的组件。其集群运行一组Journal Node，每个Journal 节点暴露一个简单的RPC接口，允许N.
Hadoop HA(HDFS高可用)集群搭建
qq_57193542的博客
09-28 501
本文搭建hadoop的环境为 centos7.9 Hadoop3.1.3 jdk-8u301 zookeeper-3.4.6，我们首先需要准备好三台虚拟机，修改好主机名，设置静态IP，关闭防火墙，关闭selinux，以其中一台master节点为例具体操作如下 [root@master ~]# yum -y install vim [root@master ~]# vim /etc/hostname #只有一行，改为master,其他两台分别改为slave1,slave2 [root@master ~]#

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值