大数据搭建之hadoop HA

最新推荐文章于 2023-01-05 16:55:54 发布
最新推荐文章于 2023-01-05 16:55:54 发布
阅读量135 收藏 1
点赞数
分类专栏： 大数据 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44066173/article/details/114915208
版权

搭建hadoop HA 之前须知

安装好jdk 以及 zookeeper
jdk安装连接：jdk安装
zookeeper安装连接：zookeeper安装

开始搭建hadoop

三台

hadoop01:192.168.197.111
hadoop02:192.168.197.112
hadoop03:192.168.197.113

上传解压包 压缩命令

建议下修改hosts 多余两台子机后续用

vim /etc/hosts

在这里插入图片描述

tar -zxvf hadoop-2.8.3.tar.gz -C myall/hadoop/

在这里插入图片描述

核心配置文件

cd/etc/hadoop目录下
在这里插入图片描述
配置core-site.xml

<configuration>
<!--将两个namenode的地址组装成一个集群mycluster-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>

<!--指定hadoop临时目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/root/myall/hadoop/hadoop-2.8.3/data/tmp</value>
</property>

<!--指定zookeeper地址,指定ZKFC故障自动切换转移-->
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
</property>
</configuration>

编辑 hdfs-site.xml

<configuration>

 <!--指定hdfs的nameservice为mycluster，需要和core-site.xml中的保持一致
  dfs.ha.namenodes.[nameservice id]为在nameservice中的每一个NameNode设置唯一标示符。
   配置一个逗号分隔的NameNode ID列表。这将是被DataNode识别为所有的NameNode。
  例如，如果使用"mycluster"作为nameservice ID，并且使用"nn1"和"nn2"作为NameNodes标示符
-->
<!--指定副本数-->

<property>
<name>dfs.replication</name>
<value>2</value>
</property>

<!--完全分布式集群名称-->
<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
</property>

<!--namenode数据的存放地点，也就是namenode元数据存放的地方，记录了hdfs系统中文件的元数据-->

<property>
<name>dfs.namenode.name.dir</name>
<value>/root/myall/hadoop/hadoop-2.8.3/dfs/name</value>
</property>

<!--datanode数据的存放地点，也就是block块存放的目录-->
<property>
<name>dfs.datanode.data.dir</name>
<value>/root/myall/hadoop/hadoop-2.8.3/dfs/data</value>
</property>

<!--开启hdfs的web访问接口，默认端口时50070-->
<property>

<name>dfs.webhdfs.enabled</name>

<value>true</value>

</property>

<!--集群中namenode节点有哪些-->

<property>
<name>dfs.ha.namenodes.mycluster</name>
<value>nn1,nn2</value>
</property>

<!--nn1的RPC通信地址-->

<property>
<name>dfs.namenode.rpc-address.mycluster.nn1</name>
<value>hadoop01:8020</value>
</property>


<!--nn2的RPC通信地址-->

<property>
<name>dfs.namenode.rpc-address.mycluster.nn2</name>
<value>hadoop02:8020</value>
</property>

<!--nn1的HTTP通信地址-->

<property>
<name>dfs.namenode.http-address.mycluster.nn1</name>
<value>hadoop01:50070</value>
</property>

<!--nn2的HTTP通信地址-->

<property>
<name>dfs.namenode.http-address.mycluster.nn2</name>
<value>hadoop02:50070</value>
</property>

<!--指定namenode元数据在JournalNode的存放位置-->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop01:8485;hadoop02:8485;hadoop03:8485/mycluster</value>
</property>

 
<!--配置隔离机制方法，同一时刻只能有一台服务器对外响应，多个机制用换行分隔，即每个机制暂用一行,也可用shell命令切换-->

<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>

<!-- 开启NameNode失败自动切换 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>

<!--进程DFZKFailoverControlle-->
 <property>
  <name>dfs.ha.fencing.methods</name>
  <value>sshfence</value>
 </property>

<!--使用隔离机制时需要ssh无密码登录-->

<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/myall/hadoop/.ssh/id_rsa</value>
</property>

 
<!--声明journalnode服务器存储目录-->

<property>
<name>dfs.journalnode.edits.dir</name>
<value>/root/myall/hadoop/hadoop-2.8.cd/data/ha/jn</value>
</property>


<!--关闭权限检查-->

<property>
<name>dfs.permisstions.enable</name>
<value>false</value>
</property>

<!--访问代理类:client,mycluster,active配置失败自动切换实现方式-->

<property>
<name>dfs.client.failover.proxy.provider.mycluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>

</configuration>

配置hadoop-env.sh

# The java implementation to use.
export JAVA_HOME=/root/myall/jdk/jdk1.8.0_191

修改mapred-site.xml

<configuration>
 <!--指定mr框架为yarn方式-->

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
 
<!--指定mr历史服务器主机，端口-->

<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop01:10020</value>
</property>

<!--指定mr历史服务器webUI主机，端口-->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop01:19888</value>
</property>

<!--历史服务器的WEB UI最多显示20000个历史的作业记录信息-->
<property>
<name>mapreduce.jobhistory.joblist.cache.size</name>
<value>20000</value>
</property>


<!--配置作业运行日志-->

<property>
<name>mapreduce.jobhistory.done-dir</name>
<value>${yarn.app.mapreduce.am.staging-dir}/history/done</value>
</property>

<property>
<name>mapreduce.jobhistory.intermediate-done-dir</name>
<value>${yarn.app.mapreduce.am.staging-dir}/history/done_intermediate</value>
</property>
 
<property>
<name>yarn.app.mapreduce.am.staging-dir</name>
<value>/tmp/hadoop-yarn/staging</value>
</property>
</configuration>

配置slaves

hadoop01
hadoop02
hadoop03

配置yarn-site.xml

<configuration>

<!--reducer获取数据的方式-->

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<!--启用resourcemanager ha-->

<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>

<!--声明两台resourcemanager的地址-->

<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>rmCluster</value>
</property>

<property>

<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>

<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>hadoop02</value>
</property>

<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>hadoop03</value>
</property>

 
<!--指定zookeeper集群的地址-->

<property>
<name>yarn.resourcemanager.zk-address</name>
<value>hadoop01:2181,hadoop02:2181,hadoop03:2181</value>
</property>


<!--启动自动恢复-->

<property>
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>

<!--指定resourcemanager的状态信息存储在zookeeper集群-->

<property>
<name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
</configuration>

将配置好的hadoop传送到其他三台虚拟机 在此之前已经配置好 ssh了 所以不需要密码

ssh-keygen 如果没配置秘钥的 执行
ssh-copy-id
传送文件
scp -r hadoop/ hadoop02:$PWD
scp -r hadoop/ hadoop03:$PWD
scp -r hadoop/ hadoop04:$PWD

习惯性添加环境变量 vim/etc/profile 四台全需要

export HADOOP_HOME=/root/myall/hadoop/hadoop-2.8.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

生效环境变量 四台全需要

source /etc/profile

第一次启动 一定要按照步骤来 ！一定要！

首先启动三台zookeeper
启动zk （这是个启动脚本 集体详情请看上一篇文档：）
zookeeper安装详细过程链接

启动zk
 ./zkmanage.sh start

在这里插入图片描述

1、在hadoop01 ，hadoop02，hadoop03上分别启动JournalNode集群

hadoop-daemon.sh start journalnode

hadoop01
在这里插入图片描述

hadoop02
在这里插入图片描述

hadoop03
在这里插入图片描述

**2、格式化namenode 在hadoop01上执行命令: **

命令：
hdfs namenode -format

在这里插入图片描述
格式化hadoop01 完成 我们在hadoop01上启动namenode

hadoop-daemon.sh start namenode
此时hadoop01 会启动namenode节点 不要动继续往下看

此时就会在hadoop01上生成fsimage文件
我们将文件传给hadoop02

在hadoop02执行
hdfs namenode -bootstrapStandby

传送给hadoop02了以后 我们在hadop02继续启动namenode

hadoop-daemon.sh start namenode
此时hadoop01 hadoop02都启动了namenode

4、我们在hadoop01上启动所有的datanode节点

hadoop-daemons.sh start datanode

hadoop 启动完成！ 进入网页看一下！

5、进入网页端

hadoop01:50070

在这里插入图片描述

hadoop02:50070

在这里插入图片描述

可以看到 三台工作节点
在这里插入图片描述
6、yarn

启动YARN

start-yarn.sh

还需要手动在standby上手动启动备份的 resourcemanager

yarn-daemon.sh start resourcemanager

到此，hadoop配置完毕，可以统计浏览器访问。

遇到的问题

1）启动namenode时两台主机都是standby

在bin目录下执行命令:

hadoop-daemon.sh start zkfc
如果执行了命令 (选举一台主机为active)也不好使

解决方式：
进入zookeeper下面的bin目录，执行命令：

zkCli.sh -server hadoop01:2181

这样就选定active！！！

总体来讲就这环境 好搭建！自己玩玩就行！！！

So - Young
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据Hadoop--全分布，HA搭建
qq_43502858的博客
06-09 717
大数据Hadoop–全分布，HA搭建 一.全分布式环境SSH免密登录以及时间同步设置 1.集群时间同步设置 （1）模拟内网环境：在集群中找一台服务器作为：时间服务器， 例如hadoop01作为时间服务器，hadoop02，hadoop03同步hadoop01。 （2）查看Linux中的ntpd时间服务（只需开启时间服务器的ntpd服务）： #查看ntpd的状态 [root@hadoop02 pro...
12）Hadoop之HDFS HA（高可用）
zy
09-25 362
HA概述： 所谓HA（High Available），即高可用（7*24小时服务不中断） 实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。 NameNode主要在以下两个方面影响HDFS集群： NameNode机器发生意外，如宕机，集群将无法使用，直...
大数据之Hadoop搭建HA
qq_39019545的博客
12-14 149
大数据Hadoop搭建HA
大数据 HadoopHA集群搭建
Mr_YXX的博客
03-01 231
使用三台虚拟机搭建集群 角色分配 ZKFC ZookeeperFailoverController 作为ZK集群的客户端 用来监控NN的状态信息 每个运行NN的节点上必须有运行一个ZKFC Journal Node 日志节点 HDFS 集群高可用的一种解决方案：做两个NameNode的数据同步。当Active NN的命名空间有任何修改时，告知大部分JNS进程，Standby NN 去读取JN...
大数据平台运维（hadoop入门（保姆篇））----概述及基本环境配置(HA-1)
weixin_62875153的博客
12-04 2875
大数据运维基础
大数据技术之HadoopHA视频教程
07-08
视频详细讲解，需要的小伙伴...你将通过本课程学习到，Hadoop存在的单点故障问题，解决单点故障的方案，搭建手动故障转移的HDFS-HA集群，搭建基于Zookeeper的自动故障转移的HDFS-HA集群以及自动故障转移的Yarn-HA集群。
大数据hadoop ha集群搭建流程.docx
10-31
。。。
大数据hadoop ha集群搭建流程.pdf
10-31
。。。
hadoop-ha搭建
05-13
在搭建Hadoop-HA的过程中，首先要进行的是**基础环境配置**。这包括： 1. **集群网络配置**：确保所有节点之间能正确通信，需要编辑`/etc/hosts`文件，添加所有节点的IP地址和主机名映射。例如，配置文件中应包含像...
hadoop集群搭建以及大数据平台搭建
07-27
本文将详细介绍如何搭建Hadoop完全分布式和高可用集群，并涵盖相关的大数据平台搭建，如Flink、Flume、Hive、MySQL、Spark集群以及Spark高可用配置，以及Sqoop的安装和配置。 首先，我们从Hadoop开始。Hadoop由HDFS...
大数据笔记（四）：HDFS集群搭建-HA模式概念
Lansonli（蓝深李）的博客
04-27 3548
HDFS集群搭建-HA模式概念，伪分布式到完全分布式，HDFS- Federation解决方案等知识点的讲解。
大数据基础平台搭建-（四）HBbase集群HA+Zookeeper搭建
最新发布
老杜的博客
01-05 454
HBase集群部署采用HA高可用+完全分布式集群方式搭建。
Hadoop环境搭建之HA模式
a1786742005的博客
03-12 985
一、Hadoop HA 概述 1、HA(High Available)，即高可用(不能中断服务)。 2、实现高可用最关键的策略是消除单点故障。HA 严格来说应该分成各个组件的 HA 机制：HDFS 的HA 和 YARN 的 HA。 3、Hadoop2.0 之前，在 HDFS 集群中 NameNode 存在单点故障(SPOF)。 4、NameNode 主要在以下两个方面影响HDFS集群 (1) Na...
大数据配置hadoop HA （一）
qq_43388040的博客
03-23 262
大数据配置hadoop（一） 搭建Hadoop的高可用模式 准备3台虚拟机:master,slave1,slave2 了解什么是高可用 什么的高可用 HA(High Available), 高可用，是保证业务连续性的有效解决方案, 通常通过设置备用节点的方式实现; 一般分为执行业务的称为活动节点(Active)，和作为活动节点的一个备份的备用节点(Standby), 当活动节点出现问题, 导致...
Hadoop-HA模式的搭建(手把手教，超细)
qq_56893858的博客
11-19 1867
参考的Hadoop官网 具有QJM的NameNode HA_Hadoop 中文网https://hadoop.org.cn/docs/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html从我完全分布式过来的同学，现在已经有了四台搭建了完全分布式的四台虚拟机 如果没有看过，请参照下文搭建！我们接下来的HA(高可用模式)是基于我们完全分布式的补充 (32条消息) hadoop完全分布式搭建（手把手教，超细）_迫壳的博客-CSDN博
hadoopHA部分文件和配置
肆伍玖的博客
04-01 1963
搭建hadoop高可用集群时可使用 /etc/profile文件 软件包安装路径为/opt/local/src/ java hadoop zookeeper #hadoop enviroment export HADOOP_HOME=/opt/local/src/hadoop #HADOOP_HOME指向JAVA安装目录 export HADOOP_PREFIX=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_.
HDFS HA 部署安装
热门推荐
╱/.进oоΟ的专栏
04-25 1万+
1、hdfs2.0基本概念 相比于 Hadoop 1.0,Hadoop 2.0 中的 HDFS 增加了两个重大特性,HA 和 Federaion。HA即为 High Availability,用于解决 NameNode 单点故障问题,该特性通过热备的方式为主NameNode 提供一个备用者,一旦主 NameNode 出现故障,可以迅速切换至备 NameNode,从而实现不间断
hadoop namenode HA 高可用概念及配置说明
helloWorldAndYou的博客
09-13 5952
可以看到之前配置的完全分布式中只有一个nn节点，不能高可用。 在1x版本中存在这些问题： hdfs：nn单点故障，压力过大，内存受限，扩展受阻。 MapReduce（MR）:jboTracker访问压力大，扩展受阻；难以支持MR以外的计算框架，如spark,storm等。 1.HA 高可用 hdfs ha ：主备切换方式解决单点故障 hdfs Federation联邦：解决鸭梨过大...
【Hadoop学习之四】HDFS HA搭建（QJM）
weixin_30375427的博客
01-03 155
环境　　虚拟机：VMware 10 　　Linux版本：CentOS-6.5-x86_64 　　客户端：Xshell4　　FTP：Xftp4 　　jdk8 　　hadoop-3.1.1 由于NameNode对于整个HDFS集群重要性，为避免NameNode单点故障，在集群里创建2个或以上NameNode（不要超过5个），保证高可用。 实现主备NameNode需要解决的问题：1、通过Journ...
Hadoop课程笔记1
08-03
Hadoop课程笔记1主要介绍了大数据的定义和大数据技术解决的问题，以及Hadoop框架的广义和狭义之分。大数据是指无法用常规软件工具进行捕捉、管理和处理的数据集合，为了能够更好的进行决策、洞察发现和流程优化，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值