HDFS namenode HA(QJM方式)环境搭建实践

最新推荐文章于 2023-08-05 19:48:13 发布
最新推荐文章于 2023-08-05 19:48:13 发布
阅读量558 收藏 1
点赞数
分类专栏： Hadoop 文章标签： namenode
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yang63515074/article/details/80451274
版权

  • 虚拟机环境

    
#hosts

192.168.75.20 node1 
192.168.75.21 node2
192.168.75.10 node3
192.168.75.22 node4
192.168.75.23 node5


#进程说明

NameNode                    名称结点
DataNode                    数据结点
JournalNode                 保证两台NameNode之间的数据一致
DFSZKFailoverController     当其中一台NameNode故障时自动将standby状态的NameNode结点升为active状态，只能在两个NameNode结点上
QuorumPeerMain              zookeeper结点


#关闭防火墙



#结点角色

node1    NameNode(master)   JournalNode     DFSZKFailoverController
node2    NameNode(standby)  JournalNode     DFSZKFailoverController
node3    DataNode           JournalNode     QuorumPeerMain
node4    DataNode                           QuorumPeerMain
node5    DataNode                           QuorumPeerMain


#ssh免密码登录

node1和node2分别对node3,node4,node5免密码登录
node1和node2之间可以相互免密码登录


#时间同步

使用ntpdate将个结点的时间同步。

  • 环境搭建步骤

    • 在node3,node4,node5上安装zookeeper
    
#在node3上安装zookeeper-3.4.10

1.解压安装包到usr/local/zookeeper-3.4.10
2.修改conf/zoo.cfg文件
    dataDir=/usr/local/zookeeper-3.4.10/tmp
    server.1=node3:2888:3888
    server.2=node4:2888:3888
    server.3=node5:2888:3888
3.在dataDir目录下创建myid文件，内容为server.x中的x
4.将zookeeper复制到node4和node5上,并修改dataDir目录下的myid文件
    scp /usr/local/zookeeper-3.4.10 root@node4:/usr/local/
    scp /usr/local/zookeeper-3.4.10 root@node5:/usr/local/
5.启动各个zookeeper
    bin/zkServer.sh start

    • 配置hadoop

      先在node1上配置好，让后将hadoop分别复制到node2,node3,node4和node5上

      首先配置JAVA_HOME和HADOOP_HOME环境变量（/etc/profile） 

    JAVA_HOME=/usr/java/jdk1.8.0_144
CLASSPATH=$JAVA_HOME/lib/
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

    配置hdfs-site.xml

    <!--设置block的副本数,可以不设置，默认为3-->
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
<property>
    <name>dfs.nameservices</name>
    <value>mycluster</value>
</property>
<!--指定两台namenode-->
<property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>nn1,nn2</value>
</property>

<!--分别指定两个个namenode的rpc和http访问地址-->
<property>
    <name>dfs.namenode.rpc-address.mycluster.nn1</name>
    <value>node1:8020</value>
</property>
<property>
    <name>dfs.namenode.rpc-address.mycluster.nn2</name>
    <value>node2:8020</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn1</name>
  <value>node1:50070</value>
</property>
<property>
  <name>dfs.namenode.http-address.mycluster.nn2</name>
  <value>node2:50070</value>
</property>

<!--指定journalnode的结点-->
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://node1:8485;node2:8485;node3:8485/mycluster</value>
</property>

<!--固定写法，指定错误时自动切换的代理实现类-->
<property>
  <name>dfs.client.failover.proxy.provider.mycluster</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

<!--指定ssh免密码登录-->
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/root/.ssh/id_rsa</value>
</property>

<!--指定每个journal数据存放的地址-->
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/var/journal/data</value>
</property>
<!--指定namenode是否使用自动故障切换-->
<property>
   <name>dfs.ha.automatic-failover.enabled</name>
   <value>true</value>
</property>

    配置core-site.xml

     <property>
    <name>fs.defaultFS</name>
    <value>hdfs://mycluster</value>
</property>

<!--确保目录不存在或者为空-->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/tmp</value>
</property>

<!--指定zookeeper所在的结点-->
<property>
   <name>ha.zookeeper.quorum</name>
   <value>node3:2181,node4:2181,node5:2181</value>
</property>

    配置slaves

    
#指定datanode结点

node3
node4
node5

    将hadoop复制给其它结点

    scp /usr/local/hadoop root@node2:/usr/local/hadoop
scp /usr/local/hadoop root@node3:/usrl/local/hadoop
scp /usr/local/hadoop root@node4:/usr/local/hadoop
scp /usr/local/hadoop root@node5:/usr/local/hadoop

    在node1,node2,node3上分别启动journalnode 

    sbin/hadoop-daemon.sh start journalnode

    格式化NameNode

    
#首先在node1上格式化namenode

bin/hdfs namenode -format


# 将node1上namenode的元数据复制到node2上


# 在node2上执行以下命令(也可以直接将/usr/local/hadoop/tmp目录复制到node2上)

    bin/hdfs namenode -bootstrapStandby


#当执行上面命令的时候需要先把node1上的namenode启动，否则会出错

    初始化hdfs状态到zookeeper

    
#在其中一个namenode上执行以下命令

bin/hdfs zkfc -formatZK

    启动hdfs

    
#在namenode1上启动hdfs

sbin/start-hdfs.sh

  • ResourceManager HA配置

    ResourceManager运行在node1和node2结点上

    • yarn-site.xml
    <property>  
    <name>yarn.nodemanager.aux-services</name>  
    <value>mapreduce_shuffle</value>  
</property> 

<!--开启HA-->
<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>
<!--类似于NameNode HA的nameservice id-->
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>ycr</value>
</property>
<!--两台ResourceManager的id-->
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
</property>
<!--rm1对应的结点-->
<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>node1</value>
</property>
<!--rm2对应的结点-->
<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>node2</value>
</property>
<!--rm web访问地址-->
<property>
  <name>yarn.resourcemanager.webapp.address.rm1</name>
  <value>node1:8088</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm2</name>
  <value>node2:8088</value>
</property>
<!--zookeeper结点-->
<property>
  <name>yarn.resourcemanager.zk-address</name>
  <value>node3:2181,node4:2181,node5:2181</value>
</property>
    • mapred-site.xml
    <property>  
    <name>mapreduce.framework.name</name>  
    <value>yarn</value>  
</property>
    • 启动yarn 
      
#先在一个resourcemanager结点上启动yarn

sbin/start-yarn.sh


#再另一个resourcemanager结点上启动resourcemanager

sbin/yarn-daemon.sh start resourcemanager

    通过http访问resourcemanager时，处于standby状态的结点会跳转到active的结点上。

yang63515074
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop06：HDFS体系结构以及NameNode介绍
weixin_40612128的博客
03-02 3034
一、HDFS体系结构 前面我们掌握了HDFS的基本使用，下面我们来详细分析一下HDFS深层次的内容 HDFS支持主从结构，主节点称为 NameNode ，是因为主节点上运行的有NameNode进程，NameNode支持多个，目前我们的集群中只配置了一个 从节点称为 DataNode ，是因为从节点上面运行的有DataNode进程，DataNode支持多个，目前我们的集群中有两个 HDFS中还包含一个 SecondaryNameNode 进程，这个进程从字面意思上看像是第二个NameNode的意思，其实不是，
HDFS之NameNode分析
01-30
大家都知道HDFS的架构由NameNode,SecondaryNameNode和DataNodes组成，其源码类图如下图所示：正如上图所示，NameNode和DataNode继承了很多的protocol用于彼此间的通信，其实nameNode还实现了...实现了ClientProtocol...
HDFS的Namenode和Datanode
10 学习笔记
04-19 1236
NN 和 2NN 工作机制（重点） 首先，我们做个假设，如果存储在 NameNode 节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。 因此产生在磁盘中备份元数据的FsImage。 这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新 FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦 NameNode 节点断电，就会产生数据丢失。 因此，引入 Edits
7.HDFS之——NameNode的概述、自动Name的概述、NameNode HA 集群搭建
m0_63953077的博客
03-29 1679
NameNode的概述、自动Name的概述、NameNode HA 集群搭建
hdfs-namenode
February13的博客
04-19 1648
其中dfs.namenode.name.dir 属性就是配置namenode这几个（fsimage,edits,seed_txid,version）文件存放的地方，也是core-site.xml中配置的临时目录的地方。配置文件：hdfs-default.xml - 配置namenode的各种属性 是hdfs-site.xml的 派生（会覆盖hdfs-default.xml），当没有配置hdfs-site.xml时，（上述文件所在路径有一个参数（dfs.namenode.name.dir ）去控制：）
【Hadoop】HDFS Namenode元数据管理以及故障恢复
m0_37956758的博客
09-22 1528
Namenode 的元数据管理
HDFS namenode主备安装
10-18
最新的hdfs namenode主备安装文档，详细，命令只需要copy执行即可
Hadoop +API之idea+maven搭建HDFS开发环境
01-07
环境搭建–集群环境搭建 3、集群以及本地开发环境的jdk版本要保持一致 4、maven 4.1添加maven的pom依赖 https://mvnrepositi.com 搜索hadoop—选择对应版本—-就有maven的pom依赖，根据需求搜索其他的对应开发包...
第2章 Kylin环境搭建
01-07
上篇：第1章 大数据Kylin之术语 1、安装地址 （1）官网地址 ...（2）官方文档 ...（3）下载地址 ... 2、安装部署 （1）将apache-kylin-2.5.1-bin-hbase1x.tar.gz上传到Linux （2）解压apache-kylin-2.5.1-bin-hbase1x.tar.gz...
Hadoop理论及实践-HDFS的Namenode及Datanode（参考Hadoop官网）
Matrix70的博客
08-03 2993
本篇博客参照hadoop官网，介绍HDFS的NN及DN，副本存放机制（机架感知策略），安全模式，文件系统元数据持久化（editlog,fsimage）,HDFS健壮性，数据组织及存储空间的回收，重点介绍DataNode及NameNode及机架感知策略
HDFS之namenode与datanode理解
热门推荐
窃格拉瓦
08-16 2万+
一、HDFS集群   HDFS集群有两类节点以管理节点-工作节点模式运行，即一个namenode(管理节点)和多个datanode(工作节点)。namenode管理文件系统的命名空间。它维护着文件系统树及整棵树内的所有文件和目录。这些信息以两个文件形式永久保存在本地磁盘上：命名空间镜像文件和编辑日志文件。namenode也记录着每个文件中各个块所在的数据节点信息，但是它并不会永久保存块的位置信息...
HDFS中的NAMENODE元数据管理（超详细）
最新发布
weixin_49750432的博客
08-05 2876
文件自身属性信息文件名称、权限、修改时间，文件大小、复制因子、数据块大小文件块位置映射信息记录文件块和DataNode之间的映射信息，即哪个块位于哪个结点上按照存储形式分别为内存元数据和元数据文件两种，分别存在内存和磁盘上SNN可以减小edits logs文件的大小和得到一个最新的fsimage文件，这样也会减小在namenode上的压力。
Hdfs之剖析NameNode
qq_38304320的博客
03-17 976
NameNode在hdfs当中发挥了重要角色，可以说，无NameNode，无Hdfs。 NameNode主要有俩个作用： 1.与客户端进行交互 2.维护目录树即元数据的管理 一. 元数据管理 namenode对数据的管理采用了三种存储形式： ----a内存元数据(NameSystem) ----b磁盘元数据镜像文件 ----c数据操作日志文件（可通过日志运算出元数据） 1.元数据存储机制 1....
HDFS之NameNode工作机制
Movle
05-05 560
1.1 NameNode&Secondary NameNode工作机制 1.第一阶段：namenode启动 (a)第一次启动namenode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载编辑日志(edits)和镜像文件(fsimage)到内存 (b)客户端对元数据进行增删改的请求 ©namenode记录操作日志，更新滚动日志 (d)namenode在内存中对数...
HDFS之NameNode故障处理
ITBOY_ITBOX博客
05-10 1403
NameNode故障后，可以采用如下两种方法恢复数据。 方法一：将SecondaryNameNode中数据拷贝到NameNode存储数据的目录； 1. kill-9 NameNode进程 2.删除NameNode存储的数据（/opt/module/hadoop-2.7.2/data/tmp/dfs/name） [atguigu@hadoop102 hadoop-2.7.2]$ ...
Hadoop NameNode详解
雾幻的博客
12-04 1万+
NameNode在内存中保存着整个文件系统的名字空间和文件数据块的地址映射(Blockmap)。如果NameNode宕机，那么整个集群就瘫痪了 整个HDFS可存储的文件数受限于NameNode的内存大小 这个关键的元数据结构设计得很紧凑，因而一个有4G内存的Namenode就足够支撑大量的文件和目录。 一般情况下，单namenode集群的最大集群规模为4000台 NameNode负责：文件...
hdfs（二）高可用单NameNode从standby恢复为active
Interest1_wyt的博客
01-22 2141
将高可用hdfs ha降为单namenode可行。如果两个namenode有一个不能用了，紧急情况下就可以通过修改配置的方式将hdfs降低为单namenode的集群继续进行工作。
HDFS体系结构(NameNode、DataNode详解)
weixin_30247307的博客
03-05 219
hadoop项目地址:http://hadoop.apache.org/ NameNode、DataNode详解 (一)分布式文件系统概述 数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统 。 是一种允许文件通过网络在多台主机上分享的文件系统，可...
hdfs namenode -format过程详解
05-24
hdfs namenode -format是Hadoop中用于格式化HDFS文件系统的命令。它的作用是在HDFS上创建一个新的文件系统，并初始化其目录结构和元数据信息。 具体来说，hdfs namenode -format命令的执行过程如下： 1. 清空...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值