HA

最新推荐文章于 2022-04-11 19:45:54 发布
最新推荐文章于 2022-04-11 19:45:54 发布
阅读量227 收藏 1
点赞数
分类专栏： 大数据框架理解 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46339499/article/details/108553628
版权

HA

一、概念

1、能自动故障转移的HDFS-HA集群

1、cp -r /opt/module/hadoop-3.1.3 /opt/module/ha/
目的：可继承原来集群的配置文件，
结果：module下出现新的文件夹ha,文件夹下是复制过来的hadoop-3.1.3
2、在hadoop102上配置core-site.xml hdfs-site.xml yarn-site.xml
目的：搭建新的集群，集群规划体现在配置文件中
结果：产生三个新集群的配置文件core-site.xml	hdfs-site.xml	yarn-site.xml
core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
   <!-- 把多个NameNode的地址组装成一个集群mycluster -->
		<property>
			<name>fs.defaultFS</name>
        	<value>hdfs://mycluster</value>
		</property>
	
	<!-- 指定hadoop运行时产生文件的存储目录 -->
		<property>
			<name>hadoop.tmp.dir</name>
			<value>/opt/module/ha/hadoop-3.1.3/data/tmp</value>
		</property>
   <!-- 声明journalnode服务器存储目录-->
	<property>
		<name>dfs.journalnode.edits.dir</name>
		<value>file://${hadoop.tmp.dir}/jn</value>
	</property>

   <!-- 指定zk集群的位置-->
    <property>
	<name>ha.zookeeper.quorum</name>
	<value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
   </property>

<!-- 兼容性配置，用于兼容后续的框架使用 -->
<!-- 配置该atguigu(superUser)允许通过代理访问的主机节点 -->
    <property>
        <name>hadoop.proxyuser.atguigu.hosts</name>
        <value>*</value>
</property>
<!-- 配置该atguigu(superuser)允许代理的用户所属组 -->
    <property>
        <name>hadoop.proxyuser.atguigu.groups</name>
        <value>*</value>
</property>
<!-- 配置该atguigu(superuser)允许代理的用户-->
    <property>
        <name>hadoop.proxyuser.atguigu.users</name>
        <value>*</value>
    </property>
<!-- 指定web端操作使用的用户 -->
<property>
        <name>hadoop.http.staticuser.user</name>
        <value>atguigu</value>
 </property>


</configuration>
hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
<!-- 副本数 --> 
<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>
	<!-- 完全分布式集群名称 -->
	<property>
		<name>dfs.nameservices</name>
		<value>mycluster</value>
	</property>
  <!-- NameNode数据存储目录 -->
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file://${hadoop.tmp.dir}/name</value>
  </property>
 <!-- DataNode数据存储目录 -->
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file://${hadoop.tmp.dir}/data</value>
  </property>

	<!-- 集群中NameNode节点都有哪些 -->
	<property>
		<name>dfs.ha.namenodes.mycluster</name>
		<value>nn1,nn2,nn3</value>
	</property>

	<!-- nn1的RPC通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.mycluster.nn1</name>
		<value>hadoop102:9000</value>
	</property>

	<!-- nn2的RPC通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.mycluster.nn2</name>
		<value>hadoop103:9000</value>
	</property>
	<!-- nn3的RPC通信地址 -->
	<property>
		<name>dfs.namenode.rpc-address.mycluster.nn3</name>
		<value>hadoop104:9000</value>
	</property>


	<!-- nn1的http通信地址 -->
	<property>
		<name>dfs.namenode.http-address.mycluster.nn1</name>
		<value>hadoop102:9870</value>
	</property>

	<!-- nn2的http通信地址 -->
	<property>
		<name>dfs.namenode.http-address.mycluster.nn2</name>
		<value>hadoop103:9870</value>
	</property>
	<!-- nn3的http通信地址 -->
	<property>
		<name>dfs.namenode.http-address.mycluster.nn3</name>
		<value>hadoop104:9870</value>
	</property>

	<!-- 指定NameNode元数据在JournalNode上的存放位置 -->
	<property>
		<name>dfs.namenode.shared.edits.dir</name>
	<value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>
	</property>

	<!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
	<property>
		<name>dfs.ha.fencing.methods</name>
		<value>sshfence</value>
	</property>

	<!-- 使用隔离机制时需要ssh无秘钥登录-->
	<property>
		<name>dfs.ha.fencing.ssh.private-key-files</name>
		<value>/home/atguigu/.ssh/id_rsa</value>
	</property>

	<!-- 访问代理类：client用于确定哪个NameNode为Active -->
	<property>		<name>dfs.client.failover.proxy.provider.mycluster</name>
	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
        <!-- 开启自动故障转移-->
        <property>
	   <name>dfs.ha.automatic-failover.enabled</name>
	   <value>true</value>
        </property>


</configuration>
yarn-site.xml
<?xml version="1.0"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->
<configuration>
   <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!--启用resourcemanager ha-->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
 
    <!--声明HA resourcemanager的地址-->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>cluster-yarn1</value>
    </property>
     <!-- 指定RM的逻辑列表 -->
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2,rm3</value>
    </property>

   <!--  =========== rm1 配置============  --> 
<!-- 指定rm1 的主机名 -->
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>hadoop102</value>
    </property>
    <!-- 指定rm1的web端地址 -->
<property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>hadoop102:8088</value>
</property>
   <!-- 指定rm1的内部通信地址 -->
    <property>
        <name>yarn.resourcemanager.address.rm1</name>
        <value>hadoop102:8032</value>
    </property>
  <!-- 指定AM向rm1申请资源的地址 -->
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm1</name>  
        <value>hadoop102:8030</value>
    </property>
  <!-- 指定供NM连接的地址 -->  
<property>
        <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
        <value>hadoop102:8031</value>
</property>

<!--  =========== rm2 配置============  --> 

    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>hadoop103</value>
</property>

<property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>hadoop103:8088</value>
</property>
    <property>
        <name>yarn.resourcemanager.address.rm2</name>
        <value>hadoop103:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm2</name>
        <value>hadoop103:8030</value>
    </property>

<property>
        <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
        <value>hadoop103:8031</value>
</property>

<!--  =========== rm3 配置============  --> 

    <property>
        <name>yarn.resourcemanager.hostname.rm3</name>
        <value>hadoop104</value>
    </property>

<property>
        <name>yarn.resourcemanager.webapp.address.rm3</name>
        <value>hadoop104:8088</value>
</property>
    <property>
        <name>yarn.resourcemanager.address.rm3</name>
        <value>hadoop104:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm3</name>
        <value>hadoop104:8030</value>
    </property>

<property>
        <name>yarn.resourcemanager.resource-tracker.address.rm3</name>
        <value>hadoop104:8031</value>
</property>
 
    <!--指定zookeeper集群的地址--> 
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
    </property>

    <!--启用自动恢复--> 
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
 
    <!--指定resourcemanager的状态信息存储在zookeeper集群--> 
    <property>
        <name>yarn.resourcemanager.store.class</name>     <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
 
<!-- 环境变量的继承 -->
  <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
  

<!-- 日志聚集 -->
   <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <property>  
        <name>yarn.log.server.url</name>  
        <value>http://hadoop102:19888/jobhistory/logs</value>  
    </property>
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
</property>
  <!-- 不检查虚拟内存使用 -->
    <property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
  </property>
</configuration>
3、更改hadoop102中环境变量：vim /etc/profile.d/my_env.xml
目的：保证启动hadoop102上节点进程是新建集群的
结果：初始化集群时，hadoop102是新集群的一个节点
问题：第10步初始化失败

my_env.xml

#JAVA_HOME
JAVA_HOME=/opt/module/jdk1.8.0_212
#HADOOP_HOME
HADOOP_HOME=/opt/module/ha/hadoop-3.1.3
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH JAVA_HOME HADOOP_HOME
4、删除/opt/module/ha/hadoop-3.1.3下的data和logs
目的：保证是全新的集群
结果：hadoop-3.1.3像新安装的一样
问题：第10步初始化失败
5、分发：ha文件夹（包含配置文件）
目的：在hadoop103、hadoop104上配置集群新节点
结果：在hadoop103和hadoop104上出现/opt/module/ha/hadoop-3.1.3（配置是新的，data也删除了）
问题：导致另外两个节点使用的还是老集群的配置
6、分发：my_env.xml
目的：保证启动hadoop103，hadoop104上节点进程是新建集群的
结果：初始化集群时，hadoop102是新集群的一个节点
问题：导致另外两个节点使用的还是老集群的配置
7、三个节点依次 source /etc/profile ,不行就重启
目的：保证第六步的配置生效
问题：导致第六步失效
8、三个节点依次 rm -rf /tmp/*
目的：为第九步做准备
结果:每个节点上/tmp下为空
问题：个别没删干净，需要重启机器重新删
9、三个节点依次 hdfs --daemon start journalnode
目的：初始化集群的准备
结果：jps时三台均启动了JournalNode
10、初始化 hdfs namenode -format
目的：读取集群配置文件，并初始化集群
结果：无提示表示启动成功，
初始化失败可能原因：
1、配置文件中某个节点不是最新的，没有分发或者文件中有错误（很难发现，建议全部删除，复制蓝本）
2、环境变量配置错误，或者某个节点配置错误，或者压根某个节点就没有配置

11、在hadoop102上启动nn hdfs --daemon start namenode

结果：jps时出现namenode线程

12、同步另外两个nn hdfs namenode -bootstrapStandby

问题：未做的话导致第13步出错

13、在另外两台上启动nn hdfs --daemon start namenode

目的：验证第12步没有错
结果：jps时出现namenode线程

14、关闭集群 stop-dfs.sh

15、配置zookeeper集群并依次启动 zkServer.sh start

16、初始化HA在zookeeper中的状态 hdfs zkfc -formatZK

17、start-dfs.sh

18、start-yarn.sh

2、高可用集群测试

1、将Active NameNode进程kill,实现自动故障转移			kill -9 namenode的进程id
结果，新的nn变成active

2、将nn1 转换成active 
hdfs haadmin -transitionToActive nn1

3、查看节点状态是否是active
hdfs haadmin -getServiceState nn1
编程每一天
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ubantu搭建Hadoop、yarn、hdfs、HA、zookeeper
m0_61846689的博客
10-16 486
本文章就是面向搭建大数据组件的小伙伴。
启动journalnode没有出现jps进程
最新发布
m0_69331164的博客
04-14 336
当主节点启动journalnode后，从节点使用jps查询没有出现journalnode进程。如果你是hadoop2.x.x，是在。文件指定datanode的位置而不是slaves。但是如果你是hadoop。文件指定datanode的位置；
hadoop集群搭建3之集群启动
Deng0_huakai
11-29 907
前面集群已经成功搭建，现在来尝试启动集群。第一次系统启动的时候，是需要初始化的 启动zookeeper 1.启动zookeeper的命令：./zkServer.sh start|stop|status [hadoop@hadoop001 ~]$3 zkServer.sh start (脚本已经被配置在路径下面了，所以不用再到zookeeper的bin目录下面执行） JMX enabled by d...
hadoop+Zookeeper集群安装配置高可用-HadoopHA
sxj的专栏
01-05 4496
1、请看：https://blog.csdn.net/sunxiaoju/article/details/85222290，此处只是配置系统的：硬件配置以及操作系统、节点需要安装的工具、安装JDK环境、创建hadoop用户、建立ssh无密码登录本机前五部分，第6部分的hadoop安装在此博文中需要重新配置，所以不需要查看，在此处博文中需要添加一个master1的namenode节点要结合前五部分一...
Hadoop start-dfs.sh启动后jps没显示进程，已解决！！！
热门推荐
NIE_WIN的博客
10-13 1万+
困扰我很多天的start-dfs.sh启动但jps进程不显示问题已经解决！！！快来看看吧！
roseha 11 用VM虚拟机创建集群测试
09-08
ROSEHA 11 在 VM 虚拟机上的集群测试搭建 ROSEHA 11 是一款集群存储解决方案，本文将指导读者使用 VM Workstation 创建一个基于 ROSEHA 11 的集群测试环境。该环境将包含两个虚拟机，分别安装 ROSEHA 11，使用 ...
ha-emeditor
04-30
"ha-emeditor" 是一个可能指的是汉化版的 EmEditor 编辑器。EmEditor 是一款功能强大的文本编辑器，尤其受到程序员、Web 开发者和高级用户喜爱，因为它提供了丰富的自定义选项和高效的工作环境。这个“ha-emeditor”...
ha457.jar 一个jump分析
04-07
在Java开发领域，"ha457.jar"可能是一个自定义的应用程序或库，而"jump分析"通常指的是对程序中的跳转逻辑进行性能或内存消耗的评估。在这个场景下，我们关注的是如何通过这样的分析来找出可能的内存泄漏或者高内存...
CDH HA部署
11-09
CDH HA部署　
Hadoop高可用安装
weixin_48280570的博客
06-18 295
Hadoop高可用安装 1.将jdk分别分发到node02、03、04三台机子 在node01机子上分别输入： -scp jdk-7u67-linux-x64.rpm node02:`pwd` -scp jdk-7u67-linux-x64.rpm node03:`pwd` -scp jdk-7u67-linux-x64.rpm node04:`pwd` 注意：` 这一符号是数字1左边这个键 分发的运行截图如下： 完成分发后可以在node02，node03，node04三台机子上
hadoop集群启动问题：journalnode启动失败
咕噜君的博客
04-10 1万+
启动journalnode集群，在（在数据节点中任选一个)节点上执行如下命令： （cd到hadoop安装目录的sbin目录下）（我的数据节点是hadoop04、hadoop05、hadoop06） sh hadoop-daemons.sh start journalnode 然后执行jps命令查看进程发现，只有一个节点的journalnode进程启动成功 解决： 删除slaves文...
关于Journalnode启动失败的问题
lijiang_shen的博客
07-29 4734
今天用普通用户启动journalnode节点时第三个节点报如下错误： root下执行命令： sudo lsof -i:8480 发现： 杀死它： kill -9 3868 然后切换回普通用户： su hadoop 再执行： hadoop-daemon.sh start journalnode 用jps看一下发现可以了。 原因： 在root用户下执行了一次hadoop-daemon.sh start journalnode命令，后来在普通用户下再次执行的时候端口被占用了，杀死就行了。 ...
启动journalnode时出现问题
weixin_34326558的博客
07-21 4637
A:准备启动journalnode时出现，命令打完了就是没有journalNode 进程出现： 　　 B:查看日志发现了出错位置： 　　 C:根据日志中指出的位置找到了相应配置文件出错的方，改正后。OK 　　 转载于:https://www.cnblogs.com/Xmingzi/p/5691012.html...
启动Hadoop没有dataNode进程的解决办法
m0_67394002的博客
04-11 3888
1.问题现象: 在启动Hadoop时，通过jps目录发现没有datanode进程。 [root@hadoop ~]# jps 1792 SecondaryNameNode 1937 Jps 1650 DataNode 2 解决方案:clusterID不匹配导致的问题 网上搜了下，网上的说法都是由于进行hadoop格式化的时候没有事先结束所有进程，或者多次进行了format导致的datanode的clusterID 和 namenode的clusterID不匹配，从而在启动后没有datanode进程。 解决
第一次启动journalnode，没有启动成功
weixin_40981751的博客
04-02 6465
sbin/hadoop-daemon.sh start journalnode 打开节点 然而并没有打开，估计是因为第一次配置文件，哪里配错了。 按照log地址去查看日志： 果然，core_site.xml 29行有错，删除后问题解决。 ...
JournalNode无法启动问题排查
mingxiawdv11的博客
09-09 3206
JournalNode无法启动问题排查 1.问题说明 1.1 JournalNode重新启动后又失败，一直重启不成功，经过观察，发现日志报错，经排查报错原因是编辑log损坏导致的 2018-05-28 16:06:07,896 WARN namenode.FSImage (EditLogFileInputStream.java:scanEditLog(359)) - Caught exception after scanning through 0 ops from /hadoop/hdfs/journa
启动jps时secondarynamenode没有进程
weixin_55811411的博客
12-23 5764
很久没打开虚拟机了，今天打开查看jps进程的时候发现secondarynamenode进程突然不见了，重复启动了好几次，都是这样 查询发现，是它的进程被占用了 应该就是2048端口号的问题 查看端口 ps -ef | grep 2684 消灭这个占人进程的端口 kill -9 2048 再重新启动，并查看jps进程看看 这样就好了’_’ ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值