大数据学习之hadoopHA版本的搭建

最新推荐文章于 2024-05-19 12:07:23 发布
最新推荐文章于 2024-05-19 12:07:23 发布
阅读量244 收藏 1
点赞数 1
分类专栏： hadoopHA 文章标签： hadoop hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52080234/article/details/113656712
版权

前言：

本篇文章针对于2020秋季学期的复习操作，一是对该学期的巩固，二是让老师知道他的努力没有白费，同时，在此感谢徐老师对我们的精心教导…

一、概述

集群规模

在这里插入图片描述

大致步骤

①、上传解压重命名环境变量source生效

②、修改配置文件

hadoop-env.sh
yarn-env.sh
hdfs-site.xml
core-site.xml
mapred-site.xml
yarn-site.xml
slaves （直接翻译为“奴隶”，作用是：用来标识从节点的ip地址的别名）

③启动集群

④验证并完善shell脚本

二、实操开始

前提（准备）

jdk、hadoop、zk、三台机器

在这里插入图片描述
删除我以前的普通hadoop文件
在这里插入图片描述
配置Myslave01root到Myslave01、Myslave02的免密登陆
原因→我们的Myslave01是我们的第二个NameNode设计的节点有必要设置免密登陆
在这里插入图片描述
这里我主机名打成slave01所以第一次出错了

解压重命名→环境已经配置了就不用配置了前提是你的目录是一样的

[root@Mymaster soft]# tar -zxvf hadoop-2.7.6.tar.gz -C ../
。。。。。。。。

在这里插入图片描述

修改配置文件

还记得前面介绍的notepad++吗？现在的配置文件多而且乱，建议使用它来操作

hdfs→core-site.xml, hdfs-site.xml,slaves

hdfs-site.xml

<configuration>
			<!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致 -->
			<property>
				<name>dfs.nameservices</name>
				<value>ns1</value>
			</property>
			<!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
			<property>
				 <name>dfs.ha.namenodes.ns1</name>
				 <value>nn1,nn2</value>
			</property>
			<!-- 
				nn1的RPC通信地址, hadoop version 1，
				hdfs协议，NameNode进程的端口号是：9000，hadoop2 :8020 
			-->
			<property>
				<name>dfs.namenode.rpc-address.ns1.nn1</name>
				<value>Mymaster:8020</value>
			</property>
			<!-- nn1的http通信地址 -->
			<property>
				<name>dfs.namenode.http-address.ns1.nn1</name>
				<value>Mymaster:50070</value>
			</property>
			<!-- nn2的RPC通信地址 -->
			<property>
				<name>dfs.namenode.rpc-address.ns1.nn2</name>
				<value>Myslave01:8020</value>
			</property>
			<!-- nn2的http通信地址 -->
			<property>
				<name>dfs.namenode.http-address.ns1.nn2</name>
				<value>Myslave01:50070</value>
			</property>
			<!-- 指定NameNode的edits数据在JournalNode上的存放位置 -->
			<property>
				<name>dfs.namenode.shared.edits.dir</name>
				<value>qjournal://Mymaster:8485;Myslave01:8485;Myslave02:8485/ns1</value>
			</property>
			<!-- 指定JournalNode在本地磁盘存放数据的位置 -->
			<property>
				<name>dfs.journalnode.edits.dir</name>
				<value>/opt/hadoop-repo/journal</value>
			</property>
			<property>  
				<name>dfs.namenode.name.dir</name>  
				<value>/opt/hadoop-repo/name</value>  
			</property>  
			<property>  
				<name>dfs.datanode.data.dir</name>  
				<value>/opt/hadoop-repo/data</value>  
			</property> 
			<!-- 开启NameNode失败自动切换 -->
			<property>
				<name>dfs.ha.automatic-failover.enabled</name>
				<value>true</value>
			</property>
			<!-- 配置失败自动切换实现方式 -->
			<property>
				<name>dfs.client.failover.proxy.provider.ns1</name>		
				<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
			</property>
			<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制占用一行-->
			<property>
				<name>dfs.ha.fencing.methods</name>
				<value>
				   sshfence
				   shell(/bin/true)
				</value>
			</property>
			<!-- 使用sshfence隔离机制时需要ssh免登陆 -->
			<property>
				<name>dfs.ha.fencing.ssh.private-key-files</name>
				<value>/root/.ssh/id_rsa</value>
			</property>
			<!-- 配置sshfence隔离机制超时时间 -->
			<property>
				<name>dfs.ha.fencing.ssh.connect-timeout</name>
				<value>30000</value>
			</property>
		</configuration>

在这里插入图片描述
ctrl + s保存

core-site.xml

<configuration>
			<!-- 指定hdfs的nameservice为ns1 -->
			<property>
				<name>fs.defaultFS</name>
				<value>hdfs://ns1</value>
			</property>
			<!-- 指定hadoop临时目录 -->
			<property>
				<name>hadoop.tmp.dir</name>
				<value>/opt/hadoop-repo/tmp</value>
			</property>
			<!-- 指定zookeeper地址 -->
			<property>
				<name>ha.zookeeper.quorum</name>
				<value>Mymaster:2181,Myslave01:2181,Myslave02:2181</value>
			</property>
</configuration>

在这里插入图片描述

slaves
在这里插入图片描述

yarn→yarn-site.xml,mapred-site.xml

yarn-site.xml

<configuration>
			<!-- 开启RM高可靠 -->
			<property>
			   <name>yarn.resourcemanager.ha.enabled</name>
			   <value>true</value>
			</property>
			<!-- 指定RM的cluster id -->
			<property>
			   <name>yarn.resourcemanager.cluster-id</name>
			   <value>yrc</value>
			</property>
			<!-- 指定RM的名字 -->
			<property>
			   <name>yarn.resourcemanager.ha.rm-ids</name>
			   <value>rm1,rm2</value>
			</property>
			<!-- 分别指定RM的地址 -->
			<property>
			   <name>yarn.resourcemanager.hostname.rm1</name>
			   <value>Myslave01</value>
			</property>
			<property>
			   <name>yarn.resourcemanager.hostname.rm2</name>
			   <value>Myslave02</value>
			</property>
			<!-- 指定zk集群地址 -->
			<property>
			   <name>yarn.resourcemanager.zk-address</name>
			   <value>Mymaster:2181,Myslave01:2181,Myslave02:2181</value>
			</property>
			<property>
			   <name>yarn.nodemanager.aux-services</name>
			   <value>mapreduce_shuffle</value>
			</property>
			<!-- 开启日志输出-->
			<property>    
				<name>yarn.log-aggregation-enable</name>    
				<value>true</value>    
			</property>
</configuration>

在这里插入图片描述

mapred-site.xml

<configuration>
			<!-- mr依赖的框架名称 yarn-->
			<property>
				<name>mapreduce.framework.name</name>
				<value>yarn</value>
			</property>
			<!-- mr转化历史任务的rpc通信地址-->
			<property>  
				<name>mapreduce.jobhistory.address</name>  
				<value>Myslave01:10020</value>  
			</property>
			<!-- mr转化历史任务的http通信地址-->
			<property>  
				<name>mapreduce.jobhistory.webapp.address</name>  
				<value>Myslave01:19888</value>  
			</property>
			<!-- 会在hdfs的根目录下面创建一个history的文件夹，存放历史任务的相关运行情况-->
			<property>
				<name>yarn.app.mapreduce.am.staging-dir</name>
				<value>/history</value>
			</property>
			<!-- map和reduce的日志级别-->
			<property>
				<name>mapreduce.map.log.level</name>
				<value>INFO</value>
			</property>
			<property>
				<name>mapreduce.reduce.log.level</name>
				<value>INFO</value>
			</property>
</configuration>

在这里插入图片描述

搞定！！！！

删除以往其他节点的hadoop文件
[root@Mymaster hadoop-repo]# ssh Myslave01
Last login: Thu Feb  4 19:55:56 2021 from mymaster
[root@Myslave01 ~]# rm -rf /opt/hadoop
[root@Myslave01 ~]# rm -rf /opt/hadoop-repo/
[root@Myslave01 ~]# ssh Myslave02
Last login: Thu Feb  4 19:49:50 2021 from myslave01
[root@Myslave01 ~]# rm -rf /opt/hadoop
[root@Myslave01 ~]# rm -rf /opt/hadoop-repo/

同步到其他节点

[root@Mymaster hadoop]# scp -r /opt/hadoop/ root@Myslave01:/opt/hadoop/
。。。。。。。。
[root@Mymaster hadoop]# scp -r /opt/hadoop/ root@Myslave02:/opt/hadoop/
。。。。。。。。
[root@Mymaster hadoop]# ssh Myslave01 'source /etc/profile.d/bigdata-etc.sh '
[root@Mymaster hadoop]# ssh Myslave02 'source /etc/profile.d/bigdata-etc.sh '

启动集群

先启动我们的zk集群

在这里插入图片描述

启动JournalNode进程

在这里插入图片描述

格式化NomeNode

在这里插入图片描述

将Mymaster节点上NameNode进程格式化后产生的元数据信息跨节点拷贝到slave01上

在这里插入图片描述

在NameNode进程所处的任何一台节点上格式化zkfc（此处选用Mymaster节点）

在这里插入图片描述

一样的分开启动，在Mymaster先启动dfs

在这里插入图片描述

在Myslave01启动yarn

在这里插入图片描述

在Myslave02启动ResourceManager

在这里插入图片描述

ok！！！所有进程启动都没有问题！！！

三、验证

查看webNameNode状态

Mymaster的

在这里插入图片描述

Myslave01的

在这里插入图片描述

验证上传下载查看

相关操作

在这里插入图片描述

Mymasterweb查看

在这里插入图片描述

Myslave01web查看

在这里插入图片描述

验证yarn的可用性

ResourceManager的状态

在这里插入图片描述
并且http://Myslave02:8088/ →自动跳转到active状态的ResourceManager节点上

运行官方提供的案例之wordcount(用来统计hdfs指定目录下各个单词出现的次数)

[root@Mymaster input]#  yarn jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount hdfs://Mymaster:8020/input hdfs://Mymaster:8020/output

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

mapreduce是比较慢的我们可以看到进度情况以及完成情况就是没有问题的

四、优化启动shell文件

myself-start-all.sh

在这里插入图片描述

#!/bin/sh

  #①停止hadoop集群
    #a)在Myslave02节点上关闭resourcemanager
ssh Myslave02 'yarn-daemon.sh stop resourcemanager'
    #  b)在Myslave01节点上执行stop-yarn.sh
ssh Myslave01 'stop-yarn.sh'
    # c)在Mymaster节点执行stop-dfs.sh
ssh Mymaster 'stop-dfs.sh'
nodes=$(cat /opt/myself-shells/nodes)
#echo $nodes
  #②停止zookeeper集群(通过循环来停止)
for zk in $nodes
do
    ssh root@$zk 'zkServer.sh stop'
done

myself-stop-all.sh

在这里插入图片描述

#!/bin/sh

  #①停止hadoop集群
    #a)在Myslave02节点上关闭resourcemanager
ssh Myslave02 'yarn-daemon.sh start resourcemanager'
    #  b)在Myslave01节点上执行stop-yarn.sh
ssh Myslave01 'stop-yarn.sh'
    # c)在Mymaster节点执行stop-dfs.sh
ssh Mymaster 'stop-dfs.sh'
nodes=$(cat /opt/myself-shells/nodes)
#echo $nodes
  #②停止zookeeper集群(通过循环来停止)
for zk in $nodes
do
    ssh root@$zk 'zkServer.sh stop'
done

关集群测试

在这里插入图片描述

开集群测试

在这里插入图片描述

五、验证HA可用

验证NameNode进程的HA

手动干掉处于active的NameNode→模拟active状态的NameNode突然宕机的情况

在这里插入图片描述

查看web情况可以看到我们的Myslave01的NameNode变成了active，master，通过http访问NameNode进程，会报错

在这里插入图片描述
在这里插入图片描述

当然这种情况的集群是没问题的增删改查等等
在这里插入图片描述
在这里插入图片描述

再次重启Mymaster节点的NameNode

在这里插入图片描述
查看web并不会变成active，可知状态切换的条件是处于active的节点宕机
在这里插入图片描述

验证ResourceManager进程的HA

手动干掉处于active的ResourceManager→模拟active状态的ResourceManager突然宕机的情况

在这里插入图片描述

查看ResourceManager web

在这里插入图片描述
在这里插入图片描述

运行mapreduce验证

略，正常的是可以运行的

重启ResourceManager

在这里插入图片描述
http://Myslave01:8088/ →自动跳转到active状态的ResourceManager节点上
完美搭建hadoopHA版本！！！！！！！！！！！！

最后，关闭集群

在这里插入图片描述

那么，本次的复习到此结束了！！！！！！祝北方的读者小年快乐！并且预祝南方的读者明天小年快乐鸭！！

编写于2021-2-4

小|熙
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
hadoop_HA版本的配置
04-11
ha，多master节点高可用集群的详细实现过程及配置注释
大数据搭建之hadoop HA
qq_44066173的博客
03-17 133
搭建hadoop HA 之前须知 安装好jdk 以及 zookeeper jdk安装连接：jdk安装 zookeeper安装连接：zookeeper安装 开始搭建hadoop 参数列表 hadoop01:192.168.197.111:NN1,ZKFC,ZK,JNN hadoop02:192.168.197.112:NN2,DN,JNN,ZKFC,ZK hadoop03:192.168.197.113:DN,JNN,ZK hadoop04:192.168.197.114:DN,JNN,ZKFC 上传解压
大数据平台搭建（二）：hadoop HA 集群搭建
守得云开见月明
04-11 2694
前言      本章搭建zookeeper集群和hadoop集群 1.hadoop版本的选择     1.目前而言，不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）、Hor...
大数据基础——Hadoop大数据平台搭建
weixin_52610848的博客
01-27 5950
文章目录前言Hadoop大数据平台搭建一．Hadoop原理和功能介绍二．Hadoop安装部署三．Hadoop常用操作总结 此文章摘自充电了么创始人，CEO兼CTO陈敬雷先生的新书《分布式机器学习实战》（人工智能科学与技术丛书）。更多内容请关注充电了么APP，更多实用技能和理论知识都可以在这里找到！
大数据之Hadoop搭建HA
qq_39019545的博客
12-14 140
大数据Hadoop搭建HA
大数据学习之Hadoop无HA环境搭建（单机版）
xiaohu的博客
05-29 265
大数据学习之Hadoop无HA环境搭建（单机版） 标签（空格分隔）： hadoop 大数据 准备Hadoop安装包（版本：hadoop-2.7.3） 下载地址 Apache Soft：http://archive.apache.org/dist/ 官方文档：https://hadoop.apache.org/docs/r2.7.3/ #解压安装包并指定目录 tar -zxvf hadoop-2.7.3.tar.gz -C /opt/soft/hadoop 解压完成后需要到到hadoop目录下修改配置文件
大数据技术之HadoopHA视频教程
07-08
视频详细讲解，需要的小伙伴...你将通过本课程学习到，Hadoop存在的单点故障问题，解决单点故障的方案，搭建手动故障转移的HDFS-HA集群，搭建基于Zookeeper的自动故障转移的HDFS-HA集群以及自动故障转移的Yarn-HA集群。
大数据hadoop ha集群搭建流程.pdf
10-31
。。。
大数据hadoop ha集群搭建流程.docx
10-31
。。。
大数据hadoop ha集群搭建流程 (2).docx
10-31
。。。
大数据hadoop ha集群搭建流程 (2).pdf
10-31
。。。
Hadoop3：HDFS副本节点选择逻辑讲解
Brave_heart4pzj的博客
05-15 334
Hadoop
Hadoop 再探讨
JAZJD的博客
05-19 981
YARN 框架与 MapReduce 1.0 相比，具有更高的灵活性和扩展性，能够更好地满足大数据处理的需求。YARN 已成为 Hadoop 生态系统中的核心基础设施，为各种大数据应用提供统一的资源管理和调度平台。
Hadoop3：客户端向HDFS写数据流的流程讲解（较枯燥）
Brave_heart4pzj的博客
05-15 317
Hadoop
Hadoop 3.4.0 项目实战
tonyhi6的博客
05-15 379
4项目实战分析2，nginx日志 IP计数。2 官方提供MapReduce程序。#预分析的文件如，如单词统计。#拷贝文件到服务器本地。5 欢迎同学们一起交流。1环境基于 上一篇搭建。
Hadoop、MapReduce、YARN和Spark的区别与联系
IT深耕十余载，大道之简
05-15 479
Hadoop、MapReduce、YARN和Spark都是大数据处理领域中的关键技术和工具，它们共同构建了一个完整的大数据生态系统。Hadoop提供了分布式存储和计算的能力，MapReduce是Hadoop中的核心计算框架，YARN为Hadoop提供了更强大的资源调度和管理能力，而Spark则是一个基于内存计算的快速大数据处理框架。Hadoop、MapReduce、YARN和Spark在大数据处理领域中各自扮演着不同的角色，但它们之间也存在紧密的联系。
Hadoop复习（上）
weixin_63001635的博客
05-14 712
系统启动，读取fsimage和edis至内存，形成内存元数据meta data， client向NameNode发起数据增删查请求，NameNode在接受请求后在内存元数据中执行操作，并返回结果给client,如果是增删操作，则同时记录数据操作日志edits。Container启动后，用于执行用户的作业Application，并向ApplicationMaster汇报进度，ApplicationMaster负责整个Application中的Container的生命周期管理。客户端：Client。
C# wpf 实现任意控件（包括窗口）更多调整大小功能
codeofcc的博客
01-15 2873
上一章我们已经实现了任意控件统一的拖动调整功能，能够方便的给任意控件设置拖动调整大小。开发过程中发现还是有些功能可以继续拓展的，比如cs代码触发拖动、自定义模板、交叉拖动、限制拖动范围等功能。有功能实现起来不算太容易，却很有实用价值。
基于matlab实现人工免疫算法的解决TSP问题的方法
最新发布
05-21
基于matlab实现人工免疫算法的解决TSP问题的方法，体现了免疫算法在进化计算过程中的抗原学习、记忆机制、浓度调节机制以及多样性抗体保持策略等优良特性.rar
大数据技术之hadoop(入门)v3.3
08-15
Hadoop是一个开源的大数据处理框架，致力于解决大规模数据存储和处理问题。它采用了分布式计算的思想，能够在集群中...对于初学者而言，掌握Hadoop的基本概念和使用方法，对于后续学习和应用大数据技术是非常有帮助的。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值