搭建hadoop高可用集群（二）

最新推荐文章于 2024-05-07 16:00:04 发布
最新推荐文章于 2024-05-07 16:00:04 发布
阅读量1.4k 收藏 3
点赞数
文章标签： hadoop hdfs 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cp1002327672/article/details/129037792
版权

搭建hadoop高可用集群（一）

配置hadoop

解压完后，单独配置这6个文件
在这里插入图片描述

hadoop-env.sh

第54行

 export JAVA_HOME=/opt/soft/jdk180
 export HDFS_NAMENODE_USER=root
 export HDFS_DATANODE_USER=root
 export HDFS_SECONDARYNAMENODE_USER=root
 export HDFS_JOURNALNODE_USER=root
 export HDFS_ZKFC_USER=root
 export YARN_RESOURCEMANAGER_USER=root
 export YARN_NODEMANAGER_USER=root

workers

填入ip

hadoop151
hadoop152
hadoop153
hadoop154

core-site.xml

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://gky</value>
		<description>逻辑名称，必须与hdfs-site.xml中的dfs.nameservice值保持一致</description>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/soft/hadoop313/tmpdata</value>
		<description>namenode上本地的hadoop临时文件夹</description>
	</property>
	<property>
		<name>hadoop.http.staticuser.user</name>
		<value>root</value>
		<description>默认用户</description>
	</property>
	<property>
		<name>hadoop.proxyuser.root.hosts</name>
		<value>*</value>
		<description></description>
	</property>
	<property>
		<name>hadoop.proxyuser.root.groups</name>
		<value>*</value>
		<description></description>
	</property>
	<property>
		<name>io.file.buffer.size</name>
		<value>131072</value>
		<description>读写文件的buffer大小为：128k</description>
	</property>
	<property>
		<name>ha.zookeeper.quorum</name>
		<value>hadoop151:2181,hadoop152:2181,hadoop153:2181</value>//改成自己的ip
		<description>zookeeper队列</description>
	</property>
	<property>
		<name>ha.zookeeper.session-timeout.ms</name>
		<value>10000</value>
		<description>hadoop连接zookeeper的超时时长设置为10s</description>
	</property>
</configuration>

hdfs-site.xml

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>3</value>
		<description>hadoop中每一个block文件的备份数量</description>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>/opt/soft/hadoop313/data/dfs/name</value>
		<description>namenode上存储hdfs名字空间元数据的目录</description>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>/opt/soft/hadoop313/data/dfs/data</value>
		<description>datanode上数据块的物理存储位置目录</description>
	</property>
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>hadoop151:9869</value>
		<description></description>
	</property>
	<property>
		<name>dfs.nameservices</name>
		<value>gky</value>
		<description>指定hdfs的nameservice,需要和core-site.xml中保持一致</description>
	</property>
	<property>
		<name>dfs.ha.namenodes.gky</name>
		<value>nn1,nn2</value>
		<description>gky为集群的逻辑名称，映射两个namenode逻辑</description>
	</property>
	<property>
		<name>dfs.namenode.rpc-address.gky.nn1</name>
		<value>hadoop151:9000</value>
		<description>namenode1的RPC通信地址</description>
	</property>
	<property>
		<name>dfs.namenode.http-address.gky.nn1</name>
		<value>hadoop151:9870</value>
		<description>namenode1的http通信地址</description>
	</property>
	<property>
		<name>dfs.namenode.rpc-address.gky.nn2</name>
		<value>hadoop152:9000</value>
		<description>namenode2的RPC通信地址</description>
	</property>
	<property>
		<name>dfs.namenode.http-address.gky.nn2</name>
		<value>hadoop152:9870</value>
		<description>namenode2的http通信地址</description>
	</property>
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
		<value>qjournal://hadoop151:8485;hadoop152:8485;hadoop153:8485/gky</value>
		<description>指定NameNode的edits元数据的共享存储位置(JournalNode列表)</description>
	</property>
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>/opt/soft/hadoop313/data/journaldata</value>
		<description>指定JournalNode在本地磁盘存放数据的位置</description>
	</property>
	<!-- 容错 -->
	<property>
		<name>dfs.ha.automatic-failover.enabled</name>
		<value>true</value>
		<description>开启NameNode故障自动切换</description>
	</property>
	<property>
		<name>dfs.client.failover.proxy.provider.gky</name>
		<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
		<description>失败后自动切换的实现方式</description>
	</property>
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>sshfence</value>
		<description>防止脑裂的处理</description>
	</property>
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/root/.ssh/id_rsa</value>
		<description>使用sshfence隔离机制，需要ssh免密登录</description>
	</property>
	<property>
		<name>dfs.permissions.enabled</name>
		<value>false</value>
		<description>关闭HDFS操作权限验证</description>
	</property>
	<property>
		<name>dfs.image.transfer.bandwidthPerSec</name>
		<value>1048576</value>
		<description></description>
	</property>
	<property>
		<name>dfs.block.scanner.volume.bytes.per.second</name>
		<value>1048576</value>
		<description></description>
	</property>
</configuration>

mapred-site.xml

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
		<description>job执行框架：local,classic or yarn</description>
		<final>true</final>
	</property>
	<property>
		<name>mapreduce.application.classpath</name>
		<value>/opt/soft/hadoop313/etc/hadoop:/opt/soft/hadoop313/share/hadoop/common/lib/*:/opt/soft/hadoop313/share/hadoop/common/*:/opt/soft/hadoop313/share/hadoop/hdfs/*:/opt/soft/hadoop313/share/hadoop/hdfs/lib/*:/opt/soft/hadoop313/share/hadoop/mapreduce/*:/opt/soft/hadoop313/share/hadoop/mapreduce/lib/*:/opt/soft/hadoop313/share/hadoop/yarn/*:/opt/soft/hadoop313/share/hadoop/yarn/lib/*</value>
	</property>
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>hadoop151:10020</value>
	</property>
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>hadoop151:19888</value>
	</property>
	<property>
		<name>mapreduce.map.memory.mb</name>
		<value>1024</value>
		<description>map阶段的task工作内存</description>
	</property>
	<property>
		<name>mapreduce.reduce.memory.mb</name>
		<value>2048</value>
		<description>reduce阶段的task工作内存</description>
	</property>
</configuration>

yarn-site.xml

<configuration>
	<property>
		<name>yarn.resourcemanager.ha.enabled</name>
		<value>true</value>
		<description>开启resourcemanager高可用</description>
	</property>
	<property>
		<name>yarn.resourcemanager.cluster-id</name>
		<value>yrcabc</value>
		<description>指定yarn的集群中的id</description>
	</property>
	<property>
		<name>yarn.resourcemanager.ha.rm-ids</name>
		<value>rm1,rm2</value>
		<description>指定resourcemanager的名字</description>
	</property>
	<property>
		<name>yarn.resourcemanager.hostname.rm1</name>
		<value>hadoop153</value>
		<description>设置rm1的名字</description>
	</property>
	<property>
		<name>yarn.resourcemanager.hostname.rm2</name>
		<value>hadoop154</value>
		<description>设置rm2的名字</description>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address.rm1</name>
		<value>hadoop153:8088</value>
		<description></description>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address.rm2</name>
		<value>hadoop154:8088</value>
		<description></description>
	</property>
	<property>
		<name>yarn.resourcemanager.zk-address</name>
		<value>hadoop151:2181,hadoop152:2181,hadoop153:2181</value>
		<description>指定zk集群地址</description>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
		<description>运行mapreduce程序必须配置的附属服务</description>
	</property>
	<property>
		<name>yarn.nodemanager.local-dirs</name>
		<value>/opt/soft/hadoop313/tmpdata/yarn/local</value>
		<description>nodemanager本地存储目录</description>
	</property>
	<property>
		<name>yarn.nodemanager.log-dirs</name>
		<value>/opt/soft/hadoop313/tmpdata/yarn/log</value>
		<description>nodemanager本地日志目录</description>
	</property>
	
	<property>
		<name>yarn.nodemanager.resource.memory-mb</name>
		<value>2048</value>
		<description>resource进程的内存</description>
	</property>
	<property>
		<name>yarn.nodemanager.resource.cpu-vcores</name>
		<value>2</value>
		<description>resource工作中所能使用机器的内核数</description>
	</property>
	<property>
		<name>yarn.scheduler.minimum-allocation-mb</name>
		<value>256</value>
		<description></description>
	</property>
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
		<description>yarn的日志能不能合并</description>
	</property>
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>86400</value>
		<description>yarn的合并日志保存的时间（多少秒）</description>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-check-enabled</name>
		<value>false</value>
		<description></description>
	</property>
	<property>
		<name>yarn.application.classpath</name>
		<value>/opt/soft/hadoop313/etc/hadoop:/opt/soft/hadoop313/share/hadoop/common/lib/*:/opt/soft/hadoop313/share/hadoop/common/*:/opt/soft/hadoop313/share/hadoop/hdfs/*:/opt/soft/hadoop313/share/hadoop/hdfs/lib/*:/opt/soft/hadoop313/share/hadoop/mapreduce/*:/opt/soft/hadoop313/share/hadoop/mapreduce/lib/*:/opt/soft/hadoop313/share/hadoop/yarn/*:/opt/soft/hadoop313/share/hadoop/yarn/lib/*</value>
		<description></description>
	</property>
	<property>
		<name>yarn.nodemanager.env-whitelist</name>
		<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
		<description></description>
	</property>
</configuration>

/etc/profile

#HADOOP_HOME
export HADOOP_HOME=/opt/soft/hadoop313
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib

拷贝

将配置好的文件拷贝到另外三台机器中

   scp -r ./hadoop313/ root@hadoop151:/opt/soft
   scp -r ./hadoop313/ root@hadoop152:/opt/soft
   scp -r ./hadoop313/ root@hadoop153:/opt/soft
   scp -r ./hadoop313/ root@hadoop154:/opt/soft

scp -r /etc/profile root@hadoop151:/etc
scp -r /etc/profile root@hadoop152:/etc
scp -r /etc/profile root@hadoop153:/etc
scp -r /etc/profile root@hadoop154:/etc

集群首次启动

1、先启动zk集群（自动化脚本）

2、在hadoop151,hadoop152,hadoop153启动JournalNode

hdfs --daemon start journalnode

可以用脚本查看三台机器的启动状态
在这里插入图片描述

3、在hadoop151格式化

hdfs namenode -format

在这里插入图片描述

4、在hadoop151启动namenode服务

hdfs --daemon start namenode

在这里插入图片描述

5、在hadoop152机器上同步namenode信息

hdfs namenode -bootstrapStandby

6、在hadoop152上启动namenode服务

hdfs --daemon start namenode

没启动之前的jps
在这里插入图片描述

启动之后
在这里插入图片描述
查看namenode节点状态

hdfs haadmin -getServiceState nn2

7、关闭所有dfs有关的服务

stop-dfs.sh

8、格式化zk

hdfs zkfc -formatZK

格式化完可以进工作空间

zkCli.sh

在这里插入图片描述

9、启动dfs

start-dfs.sh

查看namenode节点状态
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
151挂掉后，152会变成active,如果151又上线，它不会变成active,会变成standby

10、启动yarn

start-yarn.sh

查看状态
在这里插入图片描述
查看resourcemanager节点状态

yarn rmadmin -getServiceState rm1

在这里插入图片描述
如图153是active
当输入 hadoop153:8088或hadoop154:8088时，页面地址都会转到hadoop153:8088

安装成功

上传一个文件，测试wordcount,运行成功，即安装成功
在这里插入图片描述
后面hadoop可直接用start-all.sh开启，stop-all.sh关闭；zookeeper可以用脚本一键开启关闭（要注意开启时，要先开启zookeeper）

Triumph-CP
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于 ZooKeeper 搭建 Hadoop 高可用集群 的教程图解
09-29
Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多，所以它的实现也更加复杂，下面给大家详细...
学习笔记 3.2 Hadoop部署模式
qq_62847100的博客
10-28 947
hadoop
FAILED: SemanticException Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveExce
Knight
02-16 9480
FAILED: SemanticException Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create Spark client due to invalid resource request: Required executor memory (2048), overhead (384 MB), and PySpark memory (0 MB) is above
Hadoop学习-配置日志聚集服务、hadoop服务一键启动脚本
HaveAGoodDay428的博客
02-21 286
hadoop学习，一键启动脚本，配置服务
Hadoop高可用(HA)集群搭建
five小点心的博客
02-15 2532
查看namenode节点状态：hdfs haadmin -getServiceState nn1|nn2。这里装了四台机器，ant151,ant152,ant153,ant154。恢复ant152的namenode进程。rm1状态：standby。kill掉active进程。rm2状态：active。可以直接运行脚本文件。
如何使用HDFS高可用性设置Hadoop集群
qq_40784783的博客
01-20 4219
HDFS 2.x高可用性群集体系结构 在这个博客中，我将讨论HDFS 2.x高可用性群集体系结构以及设置HDFS高可用性群集的过程。 这个博客中的主题的顺序如下： HDFS HA体系结构 介绍NameNode可用性医管局的架构HA（JournalNode和Shared Storage）的实施 如何在Hadoop集群中设置HA（Quorum Journal Nodes）？
Hadoop高可用集群搭建
m0_50744317的博客
05-08 3846
一、集群节点分布。 三个服务器组成一个Zookeeper集群。node-01和node-02作为集群的NameNode，需要运行ZKFC来监控NameNode的健康状态。 二、hadoop高可用集群 （1）先搭建普通的hadoop集群。 （2）修改core-site.xml文件。 该文件是Hadoop的核心配置文件，配置HDFS地址、端口号，以及临时文件 目录。打开该配置文件，添加如下配置内容。 zookeeper地址就是你的三台主机名 cd /export/...
【Hadoop】高可用集群搭建
你不来，再美的天地，都狼藉 ~
05-22 4068
一文带你了解Hadoop的HA高可用搭建!
hadoop高可用集群搭建
weixin_35749440的博客
02-15 196
Hadoop是一个分布式的大数据处理框架，为了保证Hadoop集群的高可用性，我们需要搭建一个高可用的Hadoop集群。 下面是一个基本的Hadoop高可用集群搭建流程： 配置Hadoop集群的基础环境，包括安装JDK、SSH、NTP等必要的软件和服务。 配置Hadoop集群的主节点和从节点，在主节点上配置ZooKeeper集群，从节点上安装HDFS和YARN组件。 配置Hadoop集群的HA(...
Hadoop系统应用之搭建Hadoop高可用集群
m0_57464618的博客
04-27 259
三个服务器组成一个。node-01和node-02作为集群的NameNode，需要运行ZKFC来监控NameNode的健康状态。
搭建Hadoop高可用集群
weixin_46606519的博客
12-19 3297
配置Hadoop高可用集群
基于Zookeeper搭建Hadoop高可用集群
08-09
基于Zookeeper搭建Hadoop高可用集群
Hadoop3：HDFS的架构组成
最新发布
Brave_heart4pzj的博客
05-07 339
Hadoop
C# wpf 实现任意控件（包括窗口）更多调整大小功能
codeofcc的博客
01-15 2828
上一章我们已经实现了任意控件统一的拖动调整功能，能够方便的给任意控件设置拖动调整大小。开发过程中发现还是有些功能可以继续拓展的，比如cs代码触发拖动、自定义模板、交叉拖动、限制拖动范围等功能。有功能实现起来不算太容易，却很有实用价值。
ruoyi漏洞总结
qq_59468567的博客
05-03 815
baseurl 就有了，有的是全的 url，大多数是只给个 baseurl：prod-api，这类。js 下面有个 app.xxxxxx(一些个字母数字).js，直接里面搜。如果页面访问显示不正常，可添加默认访问路径尝试是否显示正常。若依有个特点，密码可能在前台直接显示，点击并能够成功登录。监控中存在大量接口路径，可通过未授权获取更多敏感信息在。图标和登录页面及验证码处的样式识别出若依。认证失败，无法访问系统资源。进行替换实现登录系统。数据库存在未授权访问。
HIVE基本数据类型
2301_77836489的博客
05-03 533
HIVE基本数据类型
《深入理解kafka-核心设计与实践原理》第一章：概念
qq_41157876的博客
05-06 1014
理解：分区 ISR集合中的每个副本都会维护自身的 LEO，而ISR集合中最小的 LEO 即为分区的 HW ，对消费者而言只能消费 HW 之前的消息。总结：kafka通过partition的水平扩展支持高性能，通过replica提升容灾能力。4个broker，3个partition，replica=3（一主两从）
大数据技术概述_4.大数据的应用领域
huaqianzkh的专栏
05-06 730
主要介绍大数据在制造业、服务业、交通行业、医疗行业的应用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值