hadoop配置HA简单总结

最新推荐文章于 2021-01-30 23:22:42 发布
最新推荐文章于 2021-01-30 23:22:42 发布
阅读量662 收藏
点赞数
分类专栏： hadoop 运维 HA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Jason763/article/details/77826982
版权
hadoop 同时被 3 个专栏收录
5 篇文章 0 订阅
订阅专栏
运维
3 篇文章 0 订阅
订阅专栏
HA
1 篇文章 0 订阅
订阅专栏

   准备工作

    在开始搭建集群环境之前，首先先简单介绍下我这边的本机环境 ：
  1 hadoop版本2.5.1
  2 采用v-box虚拟机搭建linux系统
  3 linux系统节点分为是 master、slaver1、slaver2、slaver3、slaver4 
  4 需要准备zookeeper，这里zookeeper版本是3.4.6
 
   HA各节点分布机器:
   
  

  搭建zookeeper

    
    
    在这里首先讲一下，搭建hadoop HA工作环境需要zookeeper进行服务协调，通过failovercontroller来动态判断哪个nannode是active的，哪一个namenode节点是standny状态的。所以鉴于此博主在这里先介绍搭建zookeeper工作步骤。

 

  1 安装zookeeper

 将zookeeper安装在master、slaver1、slaver2主机上，上传工具想必大家都知道我这里用的是Sftp工具上传的，然后依次用scp命令拷贝到slaver1、salver2主机上即可。

 

 2 配置zookeeper集群

    (1) 进入zookeeper安装目录中conf文件夹  cd /usr/zookeeper/zookeeper3.4.6/conf

    (2) 将文件名为zoo_sample.cfg更改为zoo.cfg    rm zoo_sample.cfg  zoo.cfg

    (3) 修改配置zoo.cfg文件加入以下参数:

    dataDir=/root/zookeeper    #dataDir参数是zookeeper数据存放目录
    zookeeper官方集群文档配置地址是:https://zookeeper.apache.org/doc/r3.4.10/zookeeperStarted.html

 #如下配置是zookeeper集群相关配置   博主是参考zookeeper官方文档进行配置的
    server.1=master:2888:3888
    server.2=slaver1:2888:3888
    server.3=slaver2:2888:3888

   (4) 去配置dataDir目录创建工作文件夹  我的是root/zookeeper/  我就在root下新建zookeeper即可

   (5) 在zookeeper数据存放目录(DataDir)文件内新建myid文件，文件内容根据集群参数确定  slaver中myid文件中为1、slaver2中myid文件值为2、slaver3中myid文件值为3

  (6)slaver1节点上zookeeper算是配置完毕了  将zookeeper整个文件夹拷贝到slaver2、slaver3主机上
  scp  -r  /usr/zookeeper/zookeeper3.4.6   root@slaver2:/usr/zookeeper/zookeeper3.4.6
 拷贝完毕后分别修改数据存放目录中myid文件值即可。

（7）关闭slaver1、slaver2、slaver3防火墙，分别slaver1、slaver2、slaver3进入zookeeper安装目录bin文件启动zookeeper服务 启动命令是 ./zkServer.sh start  如果启动没有报错那我们就进入下一步，正式配置hadoop HA。


  配置HA

  1 安装hadoop


    (1) 通过SFTP工具将hadoop2.5.1安装包上传到master主机上，我这边是放在/usr/hadoop/文件夹中的。

  (2) 解压hadoop2.5.1压缩文件  tar -zxvf  hadoop2.5.1.tar.gz
  
  (3)进入hadoop安装目录中的/etc/hadoop目录下配置各个节点相关配置(配置HA最为核心的步骤):
   
  1) 首先我们需要参照官方文档配置，博主这边就是参照官方进行配置的  

  2) 接下来按照官方进行配置  为了方便我把我这边配置了的配置文件文件贴上来方便大家进行参考
 
 
 hdfs-site.xml: 
<configuration>
<!--定义整个HA集群服务名-->
<property>
  <name>dfs.nameservices</name>
  <value>liaozx</value>
</property>
<!--定义整个HA集群中namenode的id名  我这边按照官方命名 nn1、nn2...-->
<property>
  <name>dfs.ha.namenodes.liaozx</name>
  <value>nn1,nn2</value>
</property>
<!--定义第一个namnode nn1的RPC访问主机及端口-->
<property>
  <name>dfs.namenode.rpc-address.liaozx.nn1</name>
  <value>master:8020</value>
</property>
<!--定义第二个namnode nn2的RPC访问主机及端口-->
<property>
  <name>dfs.namenode.rpc-address.liaozx.nn2</name>
  <value>slaver1:8020</value>
</property>
<!--定义第一个namnode nn1的http访问主机及端口-->
<property>
  <name>dfs.namenode.http-address.liaozx.nn1</name>
  <value>master:50070</value>
</property>
<!--定义第二个namnode nn2的http访问主机及端口-->
<property>
  <name>dfs.namenode.http-address.liaozx.nn2</name>
  <value>slaver1:50070</value>
</property>
<!--定义三个journal nodel所在的主机位置-->
<property>
  <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://slaver1:8485;slaver2:8485;slaver3:8485/liaozx</value>
</property>
<!--定义failovercontroller的provider-->
<property>
  <name>dfs.client.failover.proxy.provider.liaozx</name>
  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!--设置远程登录通信协议 这里是ssh协议-->
<property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
</property>
<!--ssh协议中密匙存放目录文件-->
<property>
  <name>dfs.ha.fencing.ssh.private-key-files</name>
  <value>/root/.ssh/id_dsa</value>
</property>
<!--journal node工作目录-->
<property>
  <name>dfs.journalnode.edits.dir</name>
  <value>/home/jn/data</value>
</property>
<!--设置failovercontroller是否自定切换 在这里我设置的是自动切换-->
<property>
   <name>dfs.ha.automatic-failover.enabled</name>
   <value>true</value>
 </property>
</configuration>
注意:dfs.nameservice为整个集群服务名，我这里是我自己定义的。大家完全可以按照自己想法更改服务名

 
   core-site.xml: 
<configuration>
<!--指定默认hdfs集群服务名是哪个 -->
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://liaozx</value>
</property>
<!--指定zookeeper服务所在主机  我这里zookeeper服务所在节点在master、slaver1、slaver2主机上-->
<property>
   <name>ha.zookeeper.quorum</name>
   <value>master:2181,slaver1:2181,slaver2:2181</value>
 </property>
 <!--指定hadoop的hdfs工作目录配置  -->
<property>
  <name>hadoop.tmp.dir</name>
  <value>/root/hadoop2.5.1</value>
</property>
</configuration>
 
 hadoop-env.sh:
 在这个文件下只需要将export JAVA_HOME路径改了就OK,改成自己主机上jdk安装目录即可。

 slaves:
 需要说明一下，这个文件是配置datanode的配置文件，在集群中我们有3台datanode 那么就可以按照如下内容配置:
 slaver2
 slaver3
 slaver4


  mapred-site.xml: 
<configuration>
<!--指定mapreduce计算框架是yarn-->
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>


 yarn-site.xml: 
<configuration>
	<!-- 指定ResourceManager节点的主机位置-->
     <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
	<!--剩下两个是按照官网指定配置的  指定mapreduce框架节点配置-->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

   <property>
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>

 OK,到这里我们就把整个HA集群需要的配置都配置好了，在配置好了过后我们把/etc/hadoop配置目录下所有文件拷贝并替换到其余主机上去，实现整个集群配置文件的统一性。

 HA文件配置完了，我把我/etc/hosts文件共享出来，方便大家配置集群解决问题。 
192.168.0.130  master
192.168.0.131 slaver1
192.168.0.132 slaver2
192.168.0.133 slaver3
192.168.0.134 slaver4

最后一点需要注意:集群中每台主机HA配置文件内容和hosts文件内容必须一致，另外zookeeper节点和zkfc节点上的zookeeepr/conf/zoo.cfg必须一致。
 

 启动集群

  配置好了过后不是不再是像hadoop1.x那样随便格式化就能启动的，在这个我把启动步骤列举出来，方便参阅。

  1 将前面配置好的每台主机上的zookeeper服务启动起来  敲jps命令  有QuorumPeerMain这个进程就代表zookeeper成功启动

  2 进入其中一个namenode节点主机，我这边namendnode主机是在master、slaver1主机上，我是在master主机上执行的操作。

 3 记住，首先要启动journode节点格式化才能成功，在hadoop的sbin目录敲./hadoop-daemon.sh start journalnode命令启动journalnode，依次敲命令启动slaver1 、slaver2、slaver3节点journalnode服务。

4 对master主机上hdfs进行格式化 

  cd /usr/hadoop2.5.1/bin 

  ./hdfs namenode -format

 如果出现了success formated则证明格式化成功


 5启动单个namenode节点，  注意，这个数时候启动的是格式化hdfs主机节点上的namenode

进入sbin目录下

 ./hadoop-daemon start namenode      启动master上的namenode服务


 6  将master上namenode上的工作文件夹目录拷贝到slaver1上  通过一个命令就可以拷贝过去(执行命令前提是master主机上的hdfs启动成功)   在slaver1主机上执行以下命令:

  cd /usr/hadoop/hadoop2.5.1/bin

 ./hdfs namenode  -bootstrapstandby

       

 7  initaling  HA state zookeeper  初始化HA集群中zookeeper的状态  在master主机上执行以下命令

   cd /usr/hadoop/hadoop2.5.1/bin

  ./hdfs zkfc -formatZK     

通过这个命令执行后我们的ZKFC就能成功启动。执行jps命令如果有有DFSZKFailoverController进程出现则代表zkfc服务启动成功。


 8 停止master节点上停止单个namendoe服务

  cd /usr/hadoop/hadoop2.5.1/bin

 ./hadoop-daemon stop  namenode 


9现在就可以启动整个集群中的hdfs服务了，进入master主机上 执行以下命令启动集群中hdfs服务

 cd /usr/hadoop/hadoop2.5.1/bin
 ./start-dfs.sh 
如果执行上述命令没有报错，我们分别去master、slaver1、slaver2、slaver3、slaver4主机上执行jps命令查看是否有相应服务，对照着表格来核对服务是否完全启动，对照没有错误证明服务启动成功。在浏览器输入http://master:50070出现以下界面:


进入浏览器输入http://slaver1:50070出现以下界面:




 对比一下两个界面可以知道master节点上namanode是active的，而slaver1主机上namnoed是standby状态的。

 向HA中上传一个文件测试一下hdfs集群是否可用 在master主机上运行以下命令:
 cd  /usr/hadoop/hadoop2.5.1/bin
 ./hdfs  -mkdir   -p /usr/file                      新建/usr/file文件夹
./hdfs -put  /root/test   /usr/file                上传root下test文件到hdfs文件中/usr/file文件夹中

进入浏览器http://master:50070  进入页面点击utilities>>Browse the file system   

出现如上界面代表我们的文件已经成功上传到hdfs中了。

到这一步HA就已经搭建成功了，我这边是按照hadoop官方文档进行搭建的，如果大家发现有什么错误欢迎指正。
参考资料:

 
枫叶点旋律
关注
专栏目录
Zookeeper +Hadoop HA
m0_59737088的博客
07-13 448
1. zookeeper引言 简介 Apache ZooKeeper是Apache软件基金会的一个软件项目，大数据集群服务器的管理者协调者。 简言：ZK就是一个管理多个服务(集群分布式环境下)的通知机制 Watcher+文件系统 ZNode 文件系统：保存少量，服务器相关的配置文件信息。 Watcher 监听通知机制：注册监听服务器的上下线。 特点 zk集群中的数据内容，完全一致。 zk作为集群管理者，天生不存在单点问题。 zk的主机是动态选举出来的。 应用场景 2. 集群安装
启动Hadoop HA集群的详细步骤
weixin_47068172的博客
02-19 3054
文章目录前言一、详细步骤总结 前言 下面主要讲述Hadoop HA集群的启动，使用三台虚拟机，分别为node-1,node-2,node-3，对这三台虚拟机提前进行配置，有HDFS分布式文件系统相关配置以及zookeeper分布式集群部署，进行完上述步骤后，开始启动HA集群。 提示：以下是本篇文章正文内容，下面案例可供参考 一、详细步骤 1、启动集群各个节点监控namenode的管理日志journalNode 结果 2、在export下的data中新建hadoop文件夹，hadoop下新建data
hadoop的简单配置文件
12-15
一个基本hadoop的栩置文件合集。稍做修改就可以启动您的hadoop。
Hadoop Ha (High avilable)配置
旧时明月
07-30 566
为什么要配置HDFS HA?   首先:HDFS集群中NameNode 如果存在单点故障。对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使用. 而影响HDFS集群不可用主要包括以下两种情况：一是NameNode机器宕机，将导致集群不可用，重启NameNode之后才可使用；二是计划内的NameNode节点软件或硬件升级，导致集群在短时间内
Hadoop HA
chanyi8784的博客
09-08 238
HA 概述 所谓HA（High Available），即高可用（7*24小时不中断服务） 实现高可用最关键的策略是消除单点故障，HA 严格来说应该分成各个组件的 HA 机制：HDFS 的 HA 和 YARN 的 HA Hadoop2.0 之前，在 HDFS 集群中 NameNode 存在单点故障（SPOF） NameNode 主要在以下两个方面影响 HDFS 集群 NameNode 机器发生意...
简单的hadoop配置（我安装的问题）
longshenlmj的专栏
01-11 917
按实战hadoop上的讲解一步步操作，还是遇到不少问题， 1.  伪分布模式的配置： java的环境变量，一般配置在conf/hadoop-env.sh中。我们为了统一方便，直接在/etc/profile中，直接加入 相关的问题，在同事的blog都有介绍，我不赘述，参看： http://blog.csdn.net/shuhuai007/article/details/8298845
hadoop HA配置
hongchenshijie的博客
03-11 459
文章目录 准备工作 1.修改Linux主机名 2.修改IP 3.修改主机名和IP的映射关系 /etc/hosts https://blog.csdn.net/hongchenshijie/article/details/102669331 4.关闭防火墙并设置为开机不自启 service iptables stop 5.ssh免登陆 https://blog.csdn.net/hongchensh...
Hadoop部署和配置Kerberos安全认证
05-17
Cloudera Manager提供了一个图形化的界面，使得配置Kerberos变得简单易行。通过Cloudera Manager管理Kerberos启用的过程包括： - 设置Kerberos KDC主机 - 指定安全领域 - 配置各个服务的XML配置文件以支持...
HadoopHA集群部署、YARNHA测试Job教学课件.pptx
06-20
【Hadoop HA 集群部署与 YARN HA 测试Job 教学】 在大数据处理领域，Hadoop 是一个至关重要的分布式计算框架，它提供了高可用性（HA）的特性来确保服务的连续性和稳定性。Hadoop HA 主要指的是 HDFS（Hadoop ...
Hadoop-HA高可用分布式集群总结
Biubiubiu!
03-14 1197
觉得有帮助的，请多多支持博主，点赞关注哦~ 文章目录Hadoop-HA高可用分布式集群一、HA概述二、HDFS-HA 工作机制1、HDFS-HA 工作要点2、HDFS-HA 自动故障转移工作机制三、总体配置及准备规划1、集群规划2、准备工作3、修改配置文件四、HDFS-HA 集群配置1、配置HDFS-HA集群2、配置 HDFS-HA 自动故障转移五、YARN-HA 配置1、YARN-HA 工作机制...
最简单的hadoop搭建
04-12
本文档适合大数据初学者，其中最简单的展现了hadoop集群的搭建过程及详细步骤。
Hadoop的HA配置
qq_39261894的博客
03-04 353
一、HA-HDFS 1.1 HA的核心 ​ HA(high avalibility)：高可用 ​ Hadoop集群有HDFS和YARN！Hadoop的HA指HDFS和YARN必须保证可用性强(不能轻易故障，保持24h可用)！ ​ 以HDFS为例： ​ 必须进程：Namenode（1个） ​ Danonode(N个) ​ 可选进程： Secondar...
Hadoop-HA配置
weixin_43497444的博客
03-04 206
1.HDFS-HA工作机制 元数据管理方式需要改变 内存中各自保存一份元数据； Edits日志只有Active状态的NameNode节点可以做写操作； 两个NameNode都可以读取Edits； 共享的Edits放在一个共享存储中管理（qjournal和NFS两个主流实现）； 需要一个状态管理功能模块 实现了一个zkfailover，常驻在每一个namenode所在的节点，每一个zkfailov...
Hadoop的简单配置以及与Eclipse的整合
放飞我心
02-28 2355
Hadoop的简单配置以及与Eclipse的整合 Posted on December 25, 2011 by huangchao 1.Hadoop的简介 wikipedia:hadoop 2.安装与配置 我用的操作系统为Ubuntu 11.10 安装Hadoop: 下载地址 需要注意的是，目前各个版本的信息如下 0.20.X – legacy stable vers
hadoop的完全分布式的简单配置
weixin_42522212的博客
05-04 665
前提:安装好hadoop（安装地址：https://mp.csdn.net/postedit/89816097） 说明：在hadoop-env.sh中export JAVA_HOME=你的java环境变量 一：在安装的hadoop_home/etc/hadoop中修改四个配置文件； 分别是：core-site.xml hdfs-site.xml mapred-site.xml...
7 Hadoop HA
weixin_42749734的博客
01-30 244
第七部分 Hadoop HA 7.1 HA概述 所谓HA(High Available)，即⾼可用(7*24⼩时不中断服务)。 实现⾼可用最关键的策略是消除单点故障。Hadoop-HA严格来说应该分成各个组件的HA机制:HDFS的HA和YARN的HA。 Hadoop2.0之前，在HDFS集群中NameNode存在单点故障(SPOF)。 NameNode主要在以下两个⽅方⾯面影响HDFS集群 NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启 NameNode机器需要升级，包括软
Hadoop的简单安装和配置
weixin_42834505的博客
06-01 208
1.安装包的准备： hadoop-2.6.0-cdh5.14.2.tar.gz 2.解压安装包 3.配置文件 进入hadoop安装包/etc/hadoop 3.-1 vi hadoop-env.sh java_home为你本地的jdk目录 export JAVA_HOME=/opt/soft/jdk180 3-2 vi core-site.xml <configuration> <property> <name>fs.de
hadoop 学习系列总结（三） hadoop 简易配置，及启动 起步
the_conquer_zzy的专栏
01-26 236
主题思想： 总结下hadoop 相关的简易设置 hadoop 相关的配置文件，主要 core-default.xml core-site.xml hdfs-default.xml hdfs-site.xml yarn-site.xml mapred-site.xml 其中default.xml 无法看到，，根据源码， 会先加载 core-default.xml 然后是c
HDFS2.0 HA实现
findzk的博客
10-31 277
Active NameNode 和 Standby NameNode：两台 NameNode 形成互备，一台处于 Active 状态，为主 NameNode，另外一台处于 Standby 状态，为备 NameNode，只有主 NameNode 才能对外提供读写服务； ZKFailoverController（主备切换控制器，FC）：ZKFailoverController 作为独立的进程运行，对...
Hadoop HA集群配置与启动指南
除了这些基本步骤，Hadoop HA集群还需要配置ResourceManager（RM）的HA，同样通过在多个节点上设置Active和Standby RM来实现。在YARN HA模式下，当Active RM失败时，Standby RM将接管资源管理职责。这个切换过程也是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值