Hadoop实例学习(十一)Hadooop HA搭建

最新推荐文章于 2022-07-30 20:56:13 发布
最新推荐文章于 2022-07-30 20:56:13 发布
阅读量4k 收藏 3
点赞数 1
分类专栏： hadoop 文章标签： hadoop hdfs 大数据 分布式 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43659234/article/details/109747261
版权

目录

下载java

java下载

安装zookeeper

Hadoop实例学习(十一)ZooKeeper安装

创建Hadoop集群

Hadoop实例学习(一)Hadoop3.x集群搭建
!!!HA搭建最主要的就是Hadoop的四个配置文件

添加环境变量

在这里插入图片描述

配置core.site.xml文件

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->


<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://ns1</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/hadoop/hadoop-3.1.4/tmp</value>      
    </property>
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>hadoop</value>
    </property>
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>master1:2181,slave1:2181,slave2:2181</value>
    </property>
	<property>
		<name>hadoop.proxyuser.hadoop.hosts</name>
		<value>*</value>
	</property>
	<property>
		<name>hadoop.proxyuser.hadoop.groups</name>
		<value>*</value>
	</property>
</configuration>

配置hdfs.site.xml文件

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
	<property>
        <name>dfs.ha.automatic-failover.enabled.ns</name>
        <value>true</value>
	</property>
    <property>  
        <name>dfs.replication</name>
        <value>3</value>
    </property>  
    <property>  
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>  
    <property>  
        <name>dfs.nameservices</name>
        <value>ns1</value>
    </property>  
    <property>  
        <name>dfs.blocksize</name>
        <value>134217728</value>
    </property>  
    <property>
        <name>dfs.ha.namenodes.ns1</name>
        <value>nn1,nn2</value>
    </property>  
<!-- nn1的RPC通信地址，nn1所在地址  -->
<property>  
        <name>dfs.namenode.rpc-address.ns1.nn1</name>
        <value>master1:9000</value>
    </property>  
    <!-- nn1的http通信地址，外部访问地址 -->
    <property>  
        <name>dfs.namenode.http-address.ns1.nn1</name>
        <value>master1:50070</value>
    </property>  
    <!-- nn2的RPC通信地址，nn2所在地址 -->
    <property>  
        <name>dfs.namenode.rpc-address.ns1.nn2</name>
        <value>slave1:9000</value>
    </property>  
    <!-- nn2的http通信地址，外部访问地址 -->
    <property>  
        <name>dfs.namenode.http-address.ns1.nn2</name>
        <value>slave1:50070</value>
    </property>  
    <!-- 指定NameNode的元数据在JournalNode日志上的存放位置(一般和zookeeper部署在一起) -->
    <property>  
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://master1:8485;slave1:8485/ns1</value>
    </property>  
    <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
    <property>  
        <name>dfs.journalnode.edits.dir</name>
        <value>/usr/hadoop/hadoop-3.1.4/journaldata</value>
    </property>  
    <!--开启namenode失败自动切换-->
    <property>
        <name>dfs.ha.automatic-failover.enabled.ns1</name>
        <value>true</value>
    </property>
    <!--客户端通过代理访问namenode，访问文件系统，HDFS 客户端与Active 节点通信的Java 类，使用其确定Active 节点是否活跃  -->
    <property>
        <name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>  
    <!--这是配置自动切换的方法，有多种使用方法，具体可以看官网，在文末会给地址，这里是远程登录杀死的方法  -->
    <property>  
        <name>dfs.ha.fencing.methods</name>
        <value>
            sshfence
            shell(/bin/true)
        </value>    
    </property>  
    <!-- 这个是使用sshfence隔离机制时才需要配置ssh免登陆 -->
    <property>  
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
    </property>  
    <!-- 配置sshfence隔离机制超时时间，这个属性同上，如果你是用脚本的方法切换，这个应该是可以不配置的 --> 
    <property>  
        <name>dfs.ha.fencing.ssh.connect-timeout</name>
        <value>30000</value>
    </property>  
    <!-- 这个是开启自动故障转移，如果你没有自动故障转移，这个可以先不配 -->
    <property>  
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>  
	
	<!-- HDFS文件系统元信息保存目录 -->
        <property>
                <name>dfs.name.dir</name>
                <value>file:/usr/hadoop/hadoop-3.1.4/name</value>
        </property>
    <!-- HDFS文件系统数据保存目录 -->
        <property>
                <name>dfs.data.dir</name>
                <value>file:/usr/hadoop/hadoop-3.1.4/data</value>
        </property>
		<property>
				<name>dfs.webhdfs.enabled</name>
				<value>true</value>
		</property>
</configuration>

配置yarn.site.xml文件

<?xml version="1.0"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->
<configuration>
    <property>  
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>  
    </property>
    <!-- Site specific YARN configuration properties -->
    <!--启用resourcemanager ha-->  
    <!--是否开启RM ha，默认是开启的-->  
    <property>  
       <name>yarn.resourcemanager.ha.enabled</name>  
       <value>true</value>  
    </property>
    <!-- 指定resourcemanager的名字 -->
    <property>
       <name>yarn.resourcemanager.cluster-id</name>  
       <value>yrc</value>        
    </property>
	<!-- 使用了2个resourcemanager,分别指定Resourcemanager的地址 -->
    <property>  
       <name>yarn.resourcemanager.ha.rm-ids</name>  
       <value>rm1,rm2</value>  
    </property>
	<!-- 指定rm1的地址 -->
    <property>  
       <name>yarn.resourcemanager.hostname.rm1</name>  
       <value>master1</value> 
    </property>  
	<!-- 指定rm2的地址  -->
    <property>  
       <name>yarn.resourcemanager.hostname.rm2</name>
       <value>slave1</value>  
    </property>  
    <property>
        <name>yarn.application.classpath</name>
        <value>/usr/hadoop/hadoop-3.1.4/etc/hadoop:/usr/hadoop/hadoop-3.1.4/share/hadoop/common/lib/*:/usr/hadoop/hadoop-3.1.4/share/hadoop/common/*:/usr/hadoop/hadoop-3.1.4/share/hadoop/hdfs:/usr/hadoop/hadoop-3.1.4/share/hadoop/hdfs/lib/*:/usr/hadoop/hadoop-3.1.4/share/hadoop/hdfs/*:/usr/hadoop/hadoop-3.1.4/share/hadoop/mapreduce/lib/*:/usr/hadoop/hadoop-3.1.4/share/hadoop/mapreduce/*:/usr/hadoop/hadoop-3.1.4/share/hadoop/yarn:/usr/hadoop/hadoop-3.1.4/share/hadoop/yarn/lib/*:/usr/hadoop/hadoop-3.1.4/share/hadoop/yarn/*</value>
    </property>
    <!--指定zookeeper集群的地址-->   
    <property>  
       <name>yarn.resourcemanager.zk-address</name>
        <value>master1:2181,slave1:2181,slave2:2181</value>
    </property>  
    <!--启用自动恢复，当任务进行一半，rm坏掉，就要启动自动恢复，默认是false-->
    <property>  
       <name>yarn.resourcemanager.recovery.enabled</name>
       <value>true</value>  
    </property>  
	  <!-- NodeManager上运行的附属服务，默认是mapreduce_shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
    </property>
	
	<property>
        <name>yarn.resourcemanager.address.rm1</name>
           <value>master1:8032</value>
    </property>
	<property>
            <name>yarn.resourcemanager.address.rm2</name>
            <value>slave1:8032</value>
    </property>
	<property>
                <name>yarn.resourcemanager.scheduler.address.rm2</name>
                <value>slave1:8030</value>
    </property>
	      <property>
                <name>yarn.resourcemanager.webapp.address.rm2</name>
                <value>slave1:8088</value>
        </property>
		     <property>
                <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
                <value>slave1:8031</value>
        </property>
	      <property>
                <name>yarn.resourcemanager.admin.address.rm2</name>
                <value>slave1:8033</value>
        </property>
	   <property>
                <name>yarn.resourcemanager.ha.admin.address.rm2</name>
                <value>slave1:23142</value>
        </property>
		        <property>
                <name>yarn.resourcemanager.scheduler.address.rm1</name>
                <value>master1:8030</value>
        </property>
		     <property>
                <name>yarn.resourcemanager.webapp.address.rm1</name>
                <value>master1:8088</value>
        </property>
		      <property>
                <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
                <value>master1:8031</value>
        </property>
		    <property>
                <name>yarn.resourcemanager.admin.address.rm1</name>
                <value>master1:8033</value>
        </property>
        <property>
                <name>yarn.resourcemanager.ha.admin.address.rm1</name>
                <value>master1:23142</value>
        </property>
    <!--指定resourcemanager的状态信息存储在zookeeper集群，默认是存放在FileSystem里面。-->
    <property>  
       <name>yarn.resourcemanager.store.class</name>
       <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property> 
    <property>
      	<name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
        <description>
            忽略虚拟内存的检查，如果你是安装在虚拟机上，这个配置很有用，配上去之后后续操作不容易出问题。		  </description>
    </property>
</configuration>

配置mapred.site.xml文件

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->
<!-- Put site-specific property overrides in this file. -->
<configuration>
<!--告诉hadoop以后MR(Map/Reduce)运行在YARN上-->
        <property>
              <name>mapreduce.framework.name</name>
              <value>yarn</value>
       </property>
	       <property>
        <name>yarn.application.classpath</name>
        <value>/usr/hadoop/hadoop-3.1.4/etc/hadoop/mapreduce/*,/usr/hadoop/hadoop-3.1.4/etc/hadoop/mapreduce/lib/*</value>
		</property>
</configuration>

配置works文件

master1
slave1
slave2

启动HA集群

启动zookeeper集群

启动命令:

[root@master1 hadoop]# zkServer.sh start
[root@slave1 hadoop]# zkServer.sh start
[root@slave2 hadoop]# zkServer.sh start

查看状态

[root@master1 hadoop]# zkServer.sh status
[root@slave1 hadoop]# zkServer.sh status
[root@mslave2 hadoop]# zkServer.sh status

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

先启动journalnode

在三台虚拟机三启动journalnode
启动命令:

[root@master1 hadoop]# hadoop-daemon.sh start journalnode
[root@slave1 hadoop]# hadoop-daemon.sh start journalnode
[root@slave2 hadoop]# hadoop-daemon.sh start journalnode

在master1上格式化

[root@master1 hadoop]# hdfs namenode -format

在这里插入图片描述

!!!将格式化后的hadoop文件发送给slave1(另一个namenode)

[root@master1 hadoop]# scp -r hadoop-3.1.4 root@slave1:/usr/hadoop/

在master1上格式化ZKFC

[root@master1 hadoop]# hdfs zkfc -formatZK

启动HDFS和YARN

先修改它们的启动文件

在start-dfs.sh和stop-dfs.sh文件中加上下列代码

HDFS_NAMENODE_USER=root
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
HDFS_JOURNALNODE_USER=root
HDFS_ZKFC_USER=root

在start-yarn.sh和stop-yarn.sh文件中加上下列代码

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

启动dfs

[root@master1 hadoop]# start-dfs.sh

启动yarn

[root@master1 hadoop]# start-yarn.sh

查看jps

master1的jps
在这里插入图片描述
slave1的jps
在这里插入图片描述
slave2的jps
在这里插入图片描述

浏览器查看

master1
在这里插入图片描述

slave1
在这里插入图片描述

阳光里哭泣的狗
关注
专栏目录
Hadoop HA 高可用平台配置实例
zxf_668899的博客
12-24 539
概述 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；
【Hadoop HA】搭建Hadoop HA的详细教程
HR的博客
04-13 7290
搭建Hadoop HA的详细教程前置工作配置host文件ssh免密登录JDK的配置ZooKeeper配置Hadoop HA配置文件core-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml启动与测试 前置工作 配置host文件 在每个节点的/etc/hosts文件下加入 192.168.3.73 master 192.168.3.66 slave1 192.168.3.61 slave2 确保可以相互ping通 [root@host-192-168-3-.
Hadoop集群搭建的思维导图
11-02
Hadoop在linux中搭建集群的思维导图，和具体操作流程。
Hadoop HA(高可用) 实操
菜菜的大数据开发の路
04-22 1844
1. HA 概述 2. HDFS-HA 集群搭建 2.1 HDFS-HA 核心问题 1.如何保证三台NameNode数据一致? a. Fsimage: 让一台nn生成数据, 让其他机器nn同步 b. Edits: 需要引进新的模块 JournalNode 来保证 edots文件的数据一致性 如何同时只有一台NN是active 的, 其他所有的是 standBy的 a. 手动分配 b. 自动分配 2NN 在 HA架构中并不存在, 定期合并 fsimage 和edits的活谁.
15hadoopHA——好程序
火麒马
02-21 218
日记的管理方式发生了改变——单个namenode的模式，日记文件是直接写到namenode里面就可以了。现在要实现的是高可用的模式，高可用就需要两台namenode，而且管理模式是一样的，引入了两台那么日记文件就必须要实现共享与同步，既然要实现共享，一个是namenode之间点对点的连接，但是namenode的是高并发的模式，本身任务就很多，不可能随意的增加功能，则就才有第二个方法：需要...
Hadoop编程实例
01-23
据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。
hadoop3.x--搭建hadoop高可用集群（HA模式）
lzq00277的博客
04-30 2631
HDFS高可用集群（HA模式）1、集群规划2、安装前配置3、安装jdk与hadoop4、克隆虚拟机与互信配置5、搭建zookeeper集群6、初始化启动hdfs集群 1、集群规划 hostname ip NN JN DN ZKFC ZK hadoopHA01 192.168.10.201 yes yes yes hadoopHA02 192.168.10.202 yes yes yes yes yes hadoopHA03 192.168.10.203 yes yes yes
hadoopHA搭建资源包
04-01
本资源包提供了搭建Hadoop HA所需的关键组件，包括Hadoop 2.7.0、Java开发环境JDK 8u192和ZooKeeper 3.4.9。 首先，Hadoop是Apache基金会开源的分布式文件系统，Hadoop 2.7.0是一个稳定版本，引入了HA特性，允许...
Hadoop3以及高可用HA搭建方式.docx
07-10
01_hadoop简介 05_hadoop3.0开篇介绍 06_hadoop3的新特性 07_伪分布式安装1 08_伪分布式安装2 09_伪分布安装3 10_ha高可用搭建
hadoop搭建 2.6.5版本 高可用搭建 hadoopha文件
07-02
参照https://blog.csdn.net/hliq5399/article/details/78193113搭建 hadoop搭建 2.6.5版本 高可用搭建 hadoopha文件 可用于检查 或直接复制粘贴拿来用，需要注意的是，环境变量需要检查和配置。
HDFS-HA的配置-----自动Failover
热门推荐
chenpingbupt的专栏
08-29 1万+
转帖请注明本空间地址：http://blog.csdn.net/chenpingbupt  1、概述 在手动FailOver的基础上，自动Failover增加了两个东西：一个是ZooKeeper集群，一个是ZKFailoverController(简称：ZKFC) ZK集群： 作为一个高可靠系统，能够为一小部分协同数据提供监控，将数据的更改随时反应给客户端。HD
HA切换强制namenode
qq_22528315的博客
04-19 732
启动dfs发现希望的主namenode一直standby，配置了 dfs.ha.automatic-failover.enabled 直接手动切换会报错，但是又不想取消这个配置，所以采用强制切换步骤如下： 1. 执行强制切换命令 --forcemanual + 需要变active的namenode hdfs haadmin -transitionToActive --forcemanual nn1 2. 正常应该直接执行ToActive就行，但我这里查看状态还是没变化，所以继续给定切换命令 为
Hadoop HA (三) --------- HDFS-HA 自动模式
在森林里麋了鹿
07-30 1178
HDFS-HA 自动模式
Hadoop 2.2.0 HDFS HA(Automatic Failover)搭建
diana_cherry的专栏
02-16 3418
因为在工作中没有使用hadoop1，虽然前2年自己也搭建过hadoop1，但是理解不深，这次搭建hadoop2的hdfs，还是花了不少时间，文章主要用于自己归纳整理知识，如果不对的地方，欢迎指正。 HA是hadoop2的一项重大改进，解决了单点故障的问题. hadoop2在64位机器上需要编译：http://blog.csdn.net/w13770269691/article/details/
Hadoop 自动故障转移
d_a_e_m_o_n的博客
02-27 848
场景 三节点二namenode情况下，一个namenode（nn1）挂掉，手工将另一个name提升为active节点报错：hdfs haadmin -transitionToActive nn2 21/02/27 00:24:16 INFO ipc.Client: Retrying connect to server: hadoop01/192.168.26.10:9000. Already tried 0 time(s); retry policy is RetryUpToMaximumCoun..
搭建一个Hadoop集群 HDFS-HA （Zookeeper自动故障转移）
Mr.Zheng的博客
03-05 2813
前言 之前已经搭建过一个hadoop集群(搭建方法),在这个集群的基础上进行改进，引用Zookeeper来进行自动故障转移！ 搭建目标 HA简介 所谓HA（High Available），即高可用（7*24小时不中断服务）。 ​ Hadoop集群有HDFS和YARN！Hadoop的HA指HDFS和YARN必须保证可用性强(不能轻易故障，保持24h可用)！ ​ 以HDFS为例： ​ 必...
cdh-启用hdfs ha
lisery的博客
06-21 1928
HDFS高可用性（HA）群集使用两个NameNode（活动NameNode和备用NameNode）。只有一个NameNode可以在任何时间点处于活动状态。 HDFS HA依赖于在两个NameNode可用的位置维护所有名称空间修改的日志，以便在发生故障时，备用NameNode具有关于集群中块的编辑和位置的最新信息。 重要提示：启用和禁用HA会导致HDFS服务和依赖于HDFS的所有服务中断服务。...
记录踩过的坑-Hadoop
天边一坨浮云
04-02 2453
目录 Hadoop 解压".tar"文件出错，提示：无法创建符号链接 Error: JAVA_HOME is incorrectly set Could not locate executablenull\bin\winutils.exe in the Hadoop binaries java.lang.UnsatisfiedLinkError localhost:50070/访问失败 HDFS-Failed to add storage directory Windows配置文件 h..
hadoop-namenode配置及问题处理方案
weixin_30873847的博客
11-24 248
第一步：修改core-site.xml，配置如下内容： <?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <config...
Hadoop HA搭建教程与常见问题解决
本文档详细介绍了如何在五台服务器（Hadoop01至Hadoop05）上搭建Hadoop HA平台，针对可能遇到的问题提供了解决方案。以下是整个过程的详细步骤和注意事项： 1. 集群规划： - 首先，确定五台服务器的物理地址，这里...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值