Hadoop高可用配置

最新推荐文章于 2024-05-03 15:27:48 发布

阁下大名

最新推荐文章于 2024-05-03 15:27:48 发布

阅读量1.1k

点赞数 1

分类专栏：大数据 hadoop 文章标签：大数据 hadoop

本文链接：https://blog.csdn.net/z19799100/article/details/89163156

版权

大数据同时被 2 个专栏收录

7 篇文章 0 订阅

订阅专栏

hadoop

4 篇文章 0 订阅

订阅专栏

一、何为高可用

1.HA存在的背景

Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF），对于只有一个NameNode的集群，若NameNode出现故障，则整个集群将无法使用，直到NameNode重启。

NameNode主要在以下两个方面影响集群

NameNode机器出现意外，如宕机，集群将无法使用，直到管理员重启

NameNode机器需要升级，包括软件，硬件升级，此时集群也将无法使用

HDFS HA功能通过Active/Standby两个NameNodes实现集群中对NameNode的热备来解决上述问题。如出现故障，此时NameNode很快切换到另外一台机器上。

2.工作原理图

3.原理说明

1、active namenode对外提供服务和standby namenode时刻待机准备的

2、保证两个namenode任何时候都是元数据同步的

3、standby namenode同样需要去读取fsimage和edits文件，edits变化后的数据文件同样也是需要实时同步的

4、如何同步日志信息

cloudera公司提出一个方案，分布式存储日志文件，编辑日志文件写入，一写写多份，结合之前讲解的ZK的2n+1的概念

策略：写多份，再读取，前提条件节点数目必须是奇数个，active namenode和standby namenode有一块共享存储日志的区域

5、JounralNode日志节点：专门管理编辑日志文件的

注意在HA的架构下，就不需要secondarynamenode了

JN日志节点是一个轻量级的，所以可以和Hadoop的其他守护线程放在一起

6、datanode需要向standby namenode实时汇报块的状态信息

7、如何帮助客户端判断HDFS正在提供服务的namenode

通过代理的方式判断

8、在任何时刻下，必须要保证只有一个namenode对外提供服务

当两个namenode启动以后，由ZK来完成选举，选举出一个active namenode

隔离机制

二、如何配置

1 集群规划

节点准备：3个节点

Zookeeper：3台

namenode：2台

datanode：多多益善（3台）

nodemanager：与datanode保持一致

resourcemanager：2台

2.准备工作

1.ip静态化

2.防火墙关闭

3.配置ssh免密登录

4.配置jdk ,hadoop环境变量

5.配置zookeeper

3.配置

1）修改hosts文件

#127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

#::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

#前面的给注释掉

#添加映射 只有一台 添加一个映射 ，如果多台 全部添加

192.168.241.201 test01

192.168.241.202 test02

192.168.241.203 test03

2）修改Hadoop配置文件（把原先的hadoop文件存储目录给干掉，之前配置过所以三台节点都需要删除）

（1）修改core-site.xml

<!-- 指定hdfs的nameservice为ns --> 
<property> 
	<name>fs.defaultFS</name> 
	<value>hdfs://ns</value> 
</property> 
<!--指定hadoop数据存放目录--> 
<property> 
	<name>hadoop.tmp.dir</name> 
	<value>/var/hadoop/tmp</value> 
</property> 

<!--指定zookeeper地址--> 
<property> 
	<name>ha.zookeeper.quorum</name> 
	<value>test01:2181,test02:2181,test03:2181</value> 
</property> 
<!--设置重连次数，默认10次-->
<property>
  	<name>ipc.client.connect.max.retries</name>
  	<value>100</value>
</property>
<!--设置客户端在重试建立服务器连接之前等待的毫秒数，默认1000-->
 <property>
  	<name>ipc.client.connect.retry.interval</name>
  	<value>10000</value>
 </property>

（2）修改hdfs-site.xml

<!--指定hdfs的nameservice为ns，需要和core-site.xml中的保持一致 -->      
    <property>      
        <name>dfs.nameservices</name>      
        <value>ns</value>      
    </property>    
    <!-- ns下面有两个NameNode，分别是nn1，nn2 -->  
    <property>  
       <name>dfs.ha.namenodes.ns</name>  
       <value>nn1,nn2</value>  
    </property>  
    <!-- nn1的RPC通信地址 -->  
    <property>  
       <name>dfs.namenode.rpc-address.ns.nn1</name>  
       <value>test01:9000</value>  
    </property>  
    <!-- nn1的http通信地址 -->  
    <property>  
        <name>dfs.namenode.http-address.ns.nn1</name>  
        <value>test01:50070</value>  
    </property>  
    <!-- nn2的RPC通信地址 -->  
    <property>  
        <name>dfs.namenode.rpc-address.ns.nn2</name>  
        <value>test02:9000</value>  
    </property>  
    <!-- nn2的http通信地址 -->  
    <property>  
        <name>dfs.namenode.http-address.ns.nn2</name>  
        <value>test02:50070</value>  
    </property>  
    <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->  
    <property>  
         <name>dfs.namenode.shared.edits.dir</name>  
         <value>qjournal://test01:8485;test02:8485;test03:8485/ns</value>  
    </property>  
    <!-- 指定JournalNode在本地磁盘存放数据的位置 -->  
    <property>  
          <name>dfs.journalnode.edits.dir</name>  
          <value>/var/hadoop/journal</value>  
    </property>  
    <!-- 开启NameNode故障时自动切换 -->  
    <property>  
          <name>dfs.ha.automatic-failover.enabled</name>  
          <value>true</value>  
    </property>  
    <!-- 配置失败自动切换实现方式 -->  
    <property>  
            <name>dfs.client.failover.proxy.provider.ns</name>  
            <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>  
    </property>  
    <!-- 配置隔离机制 -->  
    <property>  
             <name>dfs.ha.fencing.methods</name>  
             <value>sshfence</value>  
    </property>  
    <!-- 使用隔离机制时需要ssh免登陆 -->  
    <property>  
            <name>dfs.ha.fencing.ssh.private-key-files</name>  
            <value>/root/.ssh/id_rsa</value>  
    </property>  
    <!--namenode文件存储路径-->                    
    <property>      
        <name>dfs.namenode.name.dir</name>      
        <value>file:///var/hadoop/hdfs/name</value>      
    </property>      
     <!--datanode文件存储路径-->
    <property>      
        <name>dfs.datanode.data.dir</name>      
        <value>file:///var/hadoop/hdfs/data</value>      
    </property>      
     <!--备份数量-->
    <property>      
       <name>dfs.replication</name>      
       <value>3</value>      
    </property>     
    <!-- 在NN和DN上开启WebHDFS (REST API)功能,不是必须 -->                                                                      
    <property>      
       <name>dfs.webhdfs.enabled</name>      
       <value>true</value>      
    </property>

（3）修改mapred-site.xml

<!-- 指定mapReduce运行在year上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!--添加历史服务-->
<property>
     <name>mapreduce.jobhistory.address</name>
     <value>zhiyou101:10020</value>
</property>
 <!--web网页访问配置-->
<property>
     <name>mapreduce.jobhistory.webapp.address</name>
     <value>zhiyou101:19888</value>
</property>

（4）yarn-site.xml

<!-- 开启RM高可用 -->
	<property>
	   <name>yarn.resourcemanager.ha.enabled</name>
	   <value>true</value>
	</property>
	<!-- 指定RM的cluster id -->
	<property>
	   <name>yarn.resourcemanager.cluster-id</name>
	   <value>yrc</value>
	</property>
	<!-- 指定RM的名字 -->
	<property>
	   <name>yarn.resourcemanager.ha.rm-ids</name>
	   <value>rm1,rm2</value>
	</property>
	<!-- 分别指定RM的地址 -->
	<property>
	   <name>yarn.resourcemanager.hostname.rm1</name>
	   <value>test01</value>
	</property>
	<property>
	   <name>yarn.resourcemanager.hostname.rm2</name>
	   <value>test02</value>
	</property>
	<!-- 指定zk集群地址 -->
	<property>
	   <name>yarn.resourcemanager.zk-address</name>
	   <value>test01:2181,test02:2181,test03:2181</value>
	</property>
	<property>
	   <name>yarn.nodemanager.aux-services</name>
	   <value>mapreduce_shuffle</value>
	</property>

（5）hadoop-env.sh

配置Javahome即可

（6）修改slaves文件(dataNode)

test01
test02
test03

4.同步

将Java，Hadoop，Zookeeper，/etc/profile，/etc/hosts文件同步

同步过的不需要重复同步

5.启动集群

1）分别启动zookeeper

[root@test01 bin]# ./zkServer.sh start

2）在test01，02，03分别上启动journalnode集群

[root@test01 sbin]# ./hadoop-daemon.sh start journalnode

starting journalnode, logging to /usr/local/hadoop-2.7.3/logs/hadoop-root-journalnode-test01.out

[root@test01 sbin]# jps

2609 JournalNode

2569 QuorumPeerMain

2671 Jps

3）在test01上格式化zkfc

[root@test01 sbin]# hdfs zkfc -formatZK

4）在test01上格式化hdfs

[root@test01 sbin]# hadoop namenode -format

5）在test01上启动namenode

[root@test01 sbin]# ./hadoop-daemon.sh start namenode

[root@test01 sbin]# jps

2609 JournalNode

2871 Jps

2569 QuorumPeerMain

2798 NameNode

6）在test02上启动数据同步和standby的namenode

[root@test02 sbin]# hdfs namenode -bootstrapStandby

[root@test02 sbin]# ./hadoop-daemon.sh start namenode

7）在test01 上启动datanode

[root@test01 sbin]# ./hadoop-daemons.sh start datanode

8）在test01上启动yarn

[root@test01 sbin]# ./start-yarn.sh

[root@test01 sbin]# jps

2849 DataNode

3363 Jps

2708 QuorumPeerMain

3076 NodeManager

2760 JournalNode

2970 ResourceManager

9）在test02上单独启动resourcemanager

[root@test02 sbin]# ./yarn-daemon.sh start resourcemanager

10）在test01上启动zkfc

[root@test01 sbin]# ./hadoop-daemons.sh start zkfc

说明：第二次启动只需要启动zookeeper，hdfs和yarn即可，不需要这么麻烦了

6.查看

三、测试高可用

1. namenode状态

test01(active)

test02(standby)

2.干掉test01上的namenode

[root@test01 sbin]# kill -9 [进程id]就是jps前边的数字

问题：

把test01干掉后test02应该自动变成active模式，但是没有变化。

系统在任何时候只有一个namenode节点处于active状态。

在主备切换的时候，standby namenode会变成active状态，原来的active namenode就不能再处于active状态了，

否则两个namenode同时处于active状态会有问题。所以在failover的时候要设置防止2个namenode都处于active状态的方法，可以是Java类或者脚本。

fencing的方法目前有两种，sshfence和shell

sshfence方法是指通过ssh登陆到active namenode节点杀掉namenode进程，所以你需要设置ssh无密码登陆，还要保证有杀掉namenode进程的权限。

解决办法：

在namenode主、备节点上安装fuser(datanode节点不用安装)

[root@test01 sbin]# yum -y install psmisc

[root@test02 sbin]# yum -y install psmisc

3.重新测试

干掉namenode进程，访问页面

test01

test02

4.创建文件夹

test01

test02

阁下大名

关注

1
点赞
踩
10

收藏

觉得还不错? 一键收藏
打赏
0
评论
Hadoop高可用配置

一、何为高可用1.HA存在的背景Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF），对于只有一个NameNode的集群，若NameNode出现故障，则整个集群将无法使用，直到NameNode重启。NameNode主要在以下两个方面影响集群NameNode机器出现意外，如宕机，集群将无法使用，直到管理员重启NameNode机器需要升级，包括软件，硬件...
复制链接

扫一扫