Hadoop高手之路--05--HA (高可用)

最新推荐文章于 2024-06-13 14:38:22 发布
最新推荐文章于 2024-06-13 14:38:22 发布
阅读量494 收藏 1
点赞数 1
分类专栏： hadoop 大数据 文章标签： hadoop hdfs big data 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kc44601/article/details/122393067
版权

HA (高可用)

一、Hadoop 2.0的新特性

在这里插入图片描述

三、HDFS的高可用架构的搭建

(一) 集群的规划

在这里插入图片描述

（二）创建虚拟机

在这里插入图片描述

（三）编辑虚拟机配置

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

（四）安装centos7.9

此过程可见 Hadoop高手之路–01–集群搭建

（五）配置虚拟机

1、配置网络

在这里插入图片描述

2、配置主机名

在这里插入图片描述

3、免密登录

在这里插入图片描述
在这里插入图片描述

4.创建目录

在这里插入图片描述

（六）克隆虚拟机

在这里插入图片描述

（七）配置克隆的虚拟机

1、配置网络

在这里插入图片描述

在这里插入图片描述

2、配置主机名

在这里插入图片描述
在这里插入图片描述

（八）配置各虚拟机ip地址和主机之间的映射关系

1、centos下

在这里插入图片描述

在这里插入图片描述

2、分发/etc/hosts

在这里插入图片描述
在这里插入图片描述

3、windows下

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

（九）虚拟机之间的免密登录

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

（十）关闭防火墙

三台虚拟机都需要关闭防火墙
在这里插入图片描述

（十一）安装小工具Irzsz和wget

在这里插入图片描述
在这里插入图片描述

（十二）安装配置jdk

1、解压

在这里插入图片描述

2、配置环境变量

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

3.分发jdk到其他节点

在这里插入图片描述
在这里插入图片描述

4.分发环境变量配置文件

在这里插入图片描述

5、使环境变量起作用

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

6、测试java是否安装配置成功在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

（十三）安装配置Hadoop

1、下载上传Hadoop安装包

在这里插入图片描述

2、解压

在这里插入图片描述

3、配置环境变量

在这里插入图片描述

使配置文件起作用
在这里插入图片描述
验证是否配置成功

在这里插入图片描述

4、HA集群配置

在这里插入图片描述
在这里插入图片描述

（1）core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
	<!--指定HDFS的nameservice名称 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://ns1</value>
	</property>
	<!--指定hadoop的临时目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/data/hadoop/tmp</value>
	</property>
	<!--指定zookeeper地址-->
	<property>
		<name>ha.zookeeper.quorum</name>
		<value>ha-01:2181,ha-02:2181,ha-03:2181</value>
	</property>
	
</configuration>

在这里插入图片描述

（2）hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
	<!--设置副本的个数 -->
	<property>
		<name>dfs.replication</name>
		<value>2</value>
	</property>
	<!--指定name目录 -->
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>/export/data/hadoop/name</value>
	</property>
	<!--指定data目录 -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>/export/data/hadoop/data</value>
	</property>
	<!--开启webHDFS-->
	<property>
		<name>dfs.webhdfs.enabled</name>
		<value>true</value>
	</property>
	<!--指定nameservice为ns1-->
	<property>
		<name>dfs.nameservices</name>
		<value>ns1</value>
	</property>
	<!--指定ns1下面有两个namenode，nn1和nn2	-->
	<property>
		<name>dfs.ha.namenodes.ns1</name>
		<value>nn1,nn2</value>
	</property>
	<!--指定nn1的rpc地址 -->
	<property>
		<name>dfs.namenode.rpc-address.ns1.nn1</name>
		<value>ha-01:9000</value>
	</property>
	<!--指定nn1的http地址 -->
	<property>
		<name>dfs.namenode.http-address.ns1.nn1</name>
		<value>ha-01:50070</value>
	</property>
	<!--指定nn2的rpc地址 -->
	<property>
		<name>dfs.namenode.rpc-address.ns1.nn2</name>
		<value>ha-02:9000</value>
	</property>
	<!--指定nn2的http地址 -->
	<property>
		<name>dfs.namenode.http-address.ns1.nn2</name>
		<value>ha-02:50070</value>
	</property>
	<!--指定nm的元数据在journalnode上的存放位置-->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://ha-01:8485;ha-02:8485;ha-03:8485/ns1</value>
	</property>
	<!--指定nn2的http地址 -->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/export/data/hadoop/journaldata</value>
	</property>
	<!--开启namenode失败自动切换 -->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
	</property>
	<!--配置namenode失败自动切换的实现方式 -->
	<property>
		<name>dfs.client.failover.proxy.provider.ns1</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	<!--配置隔离机制的方法-->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>
			sshfence
			shell(/bin/true)
		</value>
	</property>
	<!--开启sshfence隔离的免登录-->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/root/.ssh/id_rsa</value>
	</property>
	<!--开启sshfence隔离的超时时间-->
	<property>
		<name>dfs.ha.fencing.ssh.connect-timeout</name>
		<value>30000</value>
	</property>

</configuration>

在这里插入图片描述

（3）Mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property> 
</configuration>

在这里插入图片描述

（4）Yarn-site.xml
<configuration>

<!-- Site specific YARN configuration properties -->
	<property>  
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>  
    </property>
    <!-- Site specific YARN configuration properties -->
    <!--启用resourcemanager ha-->  
    <!--是否开启RM ha，默认是开启的-->  
    <property>  
       <name>yarn.resourcemanager.ha.enabled</name>  
       <value>true</value>  
    </property>
    <!--声明两台resourcemanager的地址-->
    <property>
       <name>yarn.resourcemanager.cluster-id</name>  
       <value>yrc</value>        
    </property>
    <property>  
       <name>yarn.resourcemanager.ha.rm-ids</name>  
       <value>rm1,rm2</value>  
    </property>
    <property>  
       <name>yarn.resourcemanager.hostname.rm1</name>  
       <value>ha-01</value> 
    </property>  
    <property>  
       <name>yarn.resourcemanager.hostname.rm2</name>
       <value>ha-02</value>  
    </property>  

    <!--指定zookeeper集群的地址-->   
    <property>  
       <name>yarn.resourcemanager.zk-address</name>
        <value>ha-01:2181,ha-02:2181,ha-03:2181</value>
    </property>  
    <!--启用自动恢复，当任务进行一半，rm坏掉，就要启动自动恢复，默认是false-->
    <property>  
       <name>yarn.resourcemanager.recovery.enabled</name>
       <value>true</value>  
    </property>  

    <!--指定resourcemanager的状态信息存储在zookeeper集群，默认是存放在FileSystem里面。-->
    <property>  
       <name>yarn.resourcemanager.store.class</name>
       <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property> 

</configuration>

在这里插入图片描述

（5）Workers

在这里插入图片描述

（6）Hadoop-env.sh

在这里插入图片描述

5.分发Hadoop

在这里插入图片描述
在这里插入图片描述

6.使环境变量起作用并检验是否成功

分发配置文件
在这里插入图片描述
使配置文件起作用
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
验证是否配置成功
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

（十四）安装配置zookeeper

1、上传安装包

在这里插入图片描述

2、解压

在这里插入图片描述

3、配置环境变量

在这里插入图片描述
在这里插入图片描述

4、配置zookeeper

在这里插入图片描述

5、创建myid文件

在这里插入图片描述
在这里插入图片描述

6、分发zookeeper

在这里插入图片描述
在这里插入图片描述

7、分发profile

在这里插入图片描述

8、使环境变量起作用

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

9.在其他节点创建myid文件，内容分别为2、3

在这里插入图片描述
在这里插入图片描述

（十五）启动Hadoop高可用HA集群

1、启动zookeeper

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2、启动JournalNode，用于监控管理日志

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

3、=在ha-01上格式化namenode，并分到到ha-02=

注意这一步一定要在ha-01上操作
注意这一步一定要在ha-01上操作
注意这一步一定要在ha-01上操作
在这里插入图片描述
在这里插入图片描述
分发到ha-02
在这里插入图片描述

4、在ha-01上格式化ZKFC

在这里插入图片描述

5、启动Hadoop

在这里插入图片描述
出现报错，修改hadoop-env.sh

在这里插入图片描述
修改后再次启动

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

6、启动yarn

在这里插入图片描述
出现错误，修改hadoop-env.sh文件

在这里插入图片描述

修改后再次启动

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在ha-02上杀掉rm进程，模拟服务器宕机

在这里插入图片描述
查看yarn运行状态

在这里插入图片描述
在这里插入图片描述

（十六）webui查看状态

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

杀死ha-01的namenode进程，模拟服务器挂机
在这里插入图片描述
查看集群工作状态

在这里插入图片描述
在这里插入图片描述
可以看到ha-02自动成为激活状态，集群工作正常

落空空。
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop高可用安装（HA）
CRL9948的博客
06-15 872
高可用的hadoop安装HA写在开头安装步骤1.分发JDK1.1 安装jdk2.同步时间3.装机前的配置文件检查4.NN与其他三台机子的免秘钥设置 写在开头 本文配置前提是hadoop伪分布安装已完成。 hadoop高可用傻瓜式安装（傻瓜到大部分细节） 我们先介绍下高可用的hadoop一般需要什么？ 高可用的hadoop一般需要开启四台linux虚拟机，需要用7个节点做hadoop的HA。 其中3台做zookeeper集群，三台做journalnode集群，2台做失败切换zkfc，2台做namenode，三
HadoopHA高可用大数据宝宝教程
qq_67347981的博客
06-21 314
hadoopHA大数据环境搭建，满足1+x的中级水平，代码和注释可以说是宝宝教程，但是storm和ETL组件还没有加入，后续可能加入
Hadoop高可用(HA)集群搭建
five小点心的博客
02-15 2568
查看namenode节点状态：hdfs haadmin -getServiceState nn1|nn2。这里装了四台机器，ant151,ant152,ant153,ant154。恢复ant152的namenode进程。rm1状态：standby。kill掉active进程。rm2状态：active。可以直接运行脚本文件。
Hadoop HA 重新格式化
lck_csdn的博客
11-12 2720
1.停止hadoop所有服务 HADOOP_HOME/sbin/stop-all.sh 2.清除所有数据 rm -rf logs/ tmp/ 3.清除根目录下hadoop临时文件 rm -rf /tmp/hadoop/ 格式化的时候，在 /tmp/hadoop/dfs/journalnode/mycluster/current 目录下不为空。需要在三台机器下进行清空，只在一台是不行的，而且每次格式化还会生成新的文件，再次格式化还需要清空current下的文件。 4.在各台机器上启动journal
Hadoop学习笔记6之配置Hadoop临时目录
寸先生的AI道路
05-30 4836
【问题描述】重启主机后SecondaryNameNode能启动，NameNode启动不了【查看日志】查找日志（日志： /hadoop/hadoop-0.20.2/logs）：Directory /tmp/hadoop-root/dfs/name is inan inconsistent state: storage directory现在问题比较明确了，是临时目录不存在导致。/tmp/hadoop...
HadoopHA高可用集群配置 core-site.xml
07-07
HadoopHA高可用集群配置 core-site.xml
高可用Hadoop平台－FlumeNG实战图解篇
02-25
今天补充一篇关于Flume的博客，前面在讲解高可用的Hadoop平台的时候遗漏了这篇，本篇博客为大家讲述以下内容：下面开始今天的博客介绍。FlumeNG是一个分布式，高可用，可靠的系统，它能将不同的海量数据收集，移动并...
HadoopHA高可用集群配置 hdfs-site.xml
07-07
HadoopHA高可用集群配置 hdfs-site.xml
hudi-hadoop-mr-bundle-0.11.0.jar
06-28
hudi-hadoop-mr-bundle-0.11.0.jar 配合文档
hadoop-common-2.2.0-bin-master.zip
04-30
hadoop-common-2.2.0-bin-master(包含windows端开发Hadoop和Spark需要的winutils.exe),Windows下IDEA开发Hadoop和Spark程序会报错，原因是因为如果本机操作系统是windows，在程序中使用了hadoop相关的东西，比如写入...
Hadoop搭建常见问题总结
xcz8023的博客
09-28 1717
Hadoop搭建常见问题总结
Hadoop环境搭建过程中的的问题以及解决方案
B_TAEYANG的博客
10-20 1770
Hadoop问题以及解决方案: 1.使用Hadoop版本是Hadoop2.7.3，必须使用JDK1.6版本以上，所以这里使用的是JDK1.8，如果JDK版本低于1.6，启动Hadoop时候会报错。   2.配置JDK环境变量时候，有时候当前终端使用java/javac -version可以显示当前java版本，但是切换终端时候，再次输入Java/javac -version时候，不出来jav
hadoop常见问题及解决方案
LeanKing847的博客
06-20 1965
hadoop常见问题及解决方案 1.hadoop单节点集群搭建成功，进程也都成功启动，但是却在web端看不到？ 解决方法：可能是在因为本地的hosts文件中没有配置主机名和ip之间的对应关系。 可以尝试用ip：端口号（50070/8088），如果可以打开，就可以进行下一步，在本地找到hosts文件（C:\Windows\System32\drivers\etc），在里面添加上ip和主机名的对应关系。 2.虚拟机动态IP的时候可以ping通外网，但是设置为静态IP之后就不能ping通外网？ 解决方法：可能是D
Hadoop之简答题
热门推荐
小真子的博客
03-12 1万+
1      简述hadoop的安装配置1.创建hadoop账户2.配置主机名3.配置hosts文件4.配置免密码登录5.安装和配置jdk、修改/etc/profile文件，配置环境变量6.上传和安装hadoop7.配置hadoop配置文件（hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml）8.配置sla...
hadoop 临时目录
mthinking
02-18 1360
1.配置[core-site.xml]文件 &lt;configuration&gt; &lt;property&gt; &lt;name&gt;fs.defaultFS&lt;/name&gt; &lt;value&gt;hdfs://s201/&lt;/value&gt; &lt;/property&gt; &lt;!--- 配置新的本地目录
Hadoop 超燃之路
weixin_44742132的博客
01-27 297
1 Hadoop 简介1.1 Hadoop 由来数据容量大数据时代数据量超级大，数据具有如下特性：Volume(大量)Velocity(高速)Variety(多样)Value(低价值密...
C# WPF入门学习主线篇（二十九）—— 绑定到对象和集合
最新发布
weixin_56595425的博客
06-13 913
在本篇文章中，我们详细介绍了如何在WPF中将控件绑定到对象和集合。通过定义和初始化数据对象和集合，使用数据绑定将数据源与UI控件连接起来，并实现动态更新，我们可以轻松地创建一个响应式的用户界面。
大数据之Hadoop的特点是什么？有什么优缺点？有哪些发行版本？
ningkangming的博客
06-11 821
Hadoop 是一个开源的分布式存储和计算框架，由 Apache 软件基金会维护。Hadoop 的这些特点使其成为处理大规模数据集的理想选择，广泛应用于互联网、金融、医疗、科研等领域。
C# WPF入门学习主线篇（七）—— Label常见属性和事件
weixin_56595425的博客
06-07 1218
在《C# WPF入门学习主线篇（七）—— Label常见属性和事件》一文中，我们详细探讨了 WPF 中 `Label` 控件的常见属性和事件，包括 `Content`、`FontSize`、`Foreground`、`Background` 等属性，以及 `MouseEnter`、`MouseLeave`、`MouseDown` 和 `KeyDown` 等事件。通过丰富的示例代码，本文帮助读者掌握如何自定义 `
头歌Hadoop 高可用（HA）
04-25
Hadoop 高可用（HA）是指在Hadoop集群中实现故障容忍和高可靠性的一种方法。HA的主要目的是确保在集群中的某台机器失败时，集群仍然可以继续正常运行。为了实现这个目标，Hadoop HA需要保证在集群中的一台机器宕机时，另一台备用机器可以接管宕机机器的工作。这个过程是自动化的，所有的操作都是在用户无感知的情况下进行的。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值