HadoopHA高可用集群搭建详细步骤及部分报错解决

最新推荐文章于 2024-04-24 18:16:44 发布
最新推荐文章于 2024-04-24 18:16:44 发布
阅读量984 收藏 8
点赞数 1
文章标签： hadoop linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bb123116/article/details/110148624
版权

目录

一、创建虚拟机

二、 虚拟机安装centos7

打开虚拟机创建需要的文件夹
在这里插入图片描述

三、 克隆虚拟机

在这里插入图片描述

四、 配置虚拟机ip及主机名

1. 查看虚拟机网络配置范围

在这里插入图片描述

2. 设置虚拟机主机名

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3. 配置静态ip

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4. 配置主机名和ip地址的映射

在这里插入图片描述
在这里插入图片描述

5. 查看ip地址配置

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

6. 查看连通内外网情况

在这里插入图片描述
Node-02ping不通外网 发现是
在这里插入图片描述
这里写成了DSN1 修改为DNS1后成功

7. Xshell连接虚拟机

在这里插入图片描述

五、 免密登录

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

六、 配置安装各个软件

1. 安装lrzsz和wget

在这里插入图片描述
在这里插入图片描述

2. 安装jdk

在这里插入图片描述
配置环境变量
在这里插入图片描述
在这里插入图片描述

3. 安装hadoop

在这里插入图片描述
在这里插入图片描述
配置环境变量
在这里插入图片描述

4. 安装zookeeper

（1）安装解压

在这里插入图片描述

（2）配置环境变量

在这里插入图片描述

（3）配置zoo.cfg

在这里插入图片描述

dataDir=/export/data/zookeeper/zkdata
server.1=node-01:2888:3888
server.2=node-02:2888:3888
server.3=node-03:2888:3888

在这里插入图片描述
在这里插入图片描述
Zookeeper启动成功
在这里插入图片描述

（4）关闭防火墙

在这里插入图片描述
说明安装成功
在这里插入图片描述

（5）使环境变量起作用

在这里插入图片描述

（6）创建myid文件

在这里插入图片描述
在这里插入图片描述

（7）分发文件到02 03

在这里插入图片描述

（8）修改02 03 的myid文件分别为2和3

在这里插入图片描述

5. 配置hadoop高可用集群

到该路径下
在这里插入图片描述

（1）修改core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://ns1</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/export/servers/hadoop-3.1.4/tmp</value>      
    </property>
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>hadoop</value>
    </property>
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>node-01:2181,node-02:2181,node-03:2181</value>
    </property>
</configuration>

（2）配置hdfs-site.xml

<configuration>
    <property>  
        <name>dfs.replication</name>
        <value>2</value>
    </property>  
    <property>  
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>  
    <property>  
        <name>dfs.nameservices</name>
        <value>ns1</value>
    </property>  
    <property>  
        <name>dfs.blocksize</name>
        <value>134217728</value>
    </property>  
    <property>
        <name>dfs.ha.namenodes.ns1</name>
        <value>nn1,nn2</value>
    </property>  
<!-- nn1的RPC通信地址，nn1所在地址  -->
<property>  
        <name>dfs.namenode.rpc-address.ns1.nn1</name>
        <value>node-01:9000</value>
    </property>  
    <!-- nn1的http通信地址，外部访问地址 -->
    <property>  
        <name>dfs.namenode.http-address.ns1.nn1</name>
        <value>node-01:50070</value>
    </property>  
    <!-- nn2的RPC通信地址，nn2所在地址 -->
    <property>  
        <name>dfs.namenode.rpc-address.ns1.nn2</name>
        <value>node-02:9000</value>
    </property>  
    <!-- nn2的http通信地址，外部访问地址 -->
    <property>  
        <name>dfs.namenode.http-address.ns1.nn2</name>
        <value>node-02:50070</value>
    </property>  
    <!-- 指定NameNode的元数据在JournalNode日志上的存放位置(一般和zookeeper部署在一起) -->
    <property>  
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://node-01:8485;node-02:8485;node-03:8485/ns1</value>
    </property>  
    <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
    <property>  
        <name>dfs.journalnode.edits.dir</name>
        <value>/export/data/hadoop/journaldata</value>
    </property>  
    <!--开启namenode失败自动切换-->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <!--客户端通过代理访问namenode，访问文件系统，HDFS 客户端与Active 节点通信的Java 类，使用其确定Active 节点是否活跃  -->
    <property>
        <name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>  
    <!--这是配置自动切换的方法，有多种使用方法，具体可以看官网，在文末会给地址，这里是远程登录杀死的方法  -->
    <property>  
        <name>dfs.ha.fencing.methods</name>
        <value>
            sshfence
            shell(/bin/true)
        </value>    
    </property>  
    <!-- 这个是使用sshfence隔离机制时才需要配置ssh免登陆 -->
    <property>  
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
    </property>  
    <!-- 配置sshfence隔离机制超时时间，这个属性同上，如果你是用脚本的方法切换，这个应该是可以不配置的 --> 
    <property>  
        <name>dfs.ha.fencing.ssh.connect-timeout</name>
        <value>30000</value>
    </property>  
    <!-- 这个是开启自动故障转移，如果你没有自动故障转移，这个可以先不配 -->
    <property>  
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>  
</configuration>

（3）修改mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property> 
</configuration>

（4）修改yarn-site.xml

<configuration>
    <property>  
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>  
    </property>
    <!-- Site specific YARN configuration properties -->
    <!--启用resourcemanager ha-->  
    <!--是否开启RM ha，默认是开启的-->  
    <property>  
       <name>yarn.resourcemanager.ha.enabled</name>  
       <value>true</value>  
    </property>
    <!--声明两台resourcemanager的地址-->
    <property>
       <name>yarn.resourcemanager.cluster-id</name>  
       <value>yrc</value>        
    </property>
    <property>  
       <name>yarn.resourcemanager.ha.rm-ids</name>  
       <value>rm1,rm2</value>  
    </property>
    <property>  
       <name>yarn.resourcemanager.hostname.rm1</name>  
       <value>node-01</value> 
    </property>  
    <property>  
       <name>yarn.resourcemanager.hostname.rm2</name>
       <value>node-02</value>  
    </property>  

    <!--指定zookeeper集群的地址-->   
    <property>  
       <name>yarn.resourcemanager.zk-address</name>
        <value>node-01:2181,node-02:2181,node-03:2181</value>
    </property>  
    <!--启用自动恢复，当任务进行一半，rm坏掉，就要启动自动恢复，默认是false-->
    <property>  
       <name>yarn.resourcemanager.recovery.enabled</name>
       <value>true</value>  
    </property>  

    <!--指定resourcemanager的状态信息存储在zookeeper集群，默认是存放在FileSystem里面。-->
    <property>  
       <name>yarn.resourcemanager.store.class</name>
       <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property> 

</configuration>

（5）修改workers

在这里插入图片描述

（6）修改hadoop-env.sh

在这里插入图片描述
在这里插入图片描述

（7）修改start-dfs.sh和stop-dfs.sh

#!/usr/bin/env bash
HDFS_JOURNALNODE_USER=root
HDFS_ZKFC_USER=root
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

（8）修改start-yarn.sh和stop-yarn.sh

#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

七、 启动各项进程

1. 启动各个节点zookeeper

在这里插入图片描述

2. 启动journalnamenode

在这里插入图片描述
在这里插入图片描述

3. 在node-01上格式化namenode

在这里插入图片描述

4. 分发到node-02

在这里插入图片描述

5. node-01格式化zkfc

在这里插入图片描述

6. 启动集群和yarn

在这里插入图片描述
在这里插入图片描述

7. Jps查看node-02无namenode

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
02没有启动namenode

（1）查看日志 关于namenode的log文件

在这里插入图片描述
在这里插入图片描述
发现error说没有name文件
在这里插入图片描述
创建name文件
在这里插入图片描述
在这里插入图片描述

（2）启动后node-02 jps namenode出现一下就消失了

继续查看日志
在这里插入图片描述
node-02没有格式化
在这里插入图片描述
启动node-02 namenode成功
在这里插入图片描述

8. 最终Jps

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

小薄冲冲冲
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）
03-30
Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）
9、hadoop高可用HA集群部署及三种方式验证
05-29
9、hadoop高可用HA集群部署及三种方式验证 网址：https://blog.csdn.net/chenwewi520feng/article/details/130344998 本文介绍hadoop HA环境部署。本文分为三部分，即HA集群规划、HA集群部署和HA集群验证 前提依赖：...
hadoop tyarn冲突_Hadoop2.52部署多机-HDFS HA+YARN格式化出错
weixin_29341747的博客
02-23 605
按教程上的例子，lumaster、luslave1、luslave2、luslave3 这是我部署的四台虚拟机HOSTNAME。结果在执行bin/hdfs namenode -format时出错了，如下luhy/hadoop-2.5.2/share/hadoop/mapreduce/lib/asm-3.2.jar:/home/luhy/hadoop-2.5.2/share/hadoop/mapre...
5台机器搭建HA步骤与注意事项
IT晓白
01-15 2471
HA是High Available缩写，是双机集群系统简称，指高可用性集群，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，且分为活动节点及备用节点。
Hadoop之Ha高可用搭建教程
weixin_74865657的博客
03-18 1091
随着大数据技术的不断发展，Hadoop作为开源的大数据处理框架，已经广泛应用于各种场景中。然而，在大型生产环境中，Hadoop集群的稳定性和可用性显得尤为重要。为了保障Hadoop集群的高可用性（HA），我们需要采用一系列的技术和策略。本文将重点介绍Hadoop集群的HA高可用方案。Hadoop集群的HA高可用主要指的是在集群中的关键组件出现故障时，能够自动切换到其他节点继续提供服务，从而确保整个集群的稳定运行。Hadoop集群的HA高可用方案是保障集群稳定性和可用性的重要手段。
Hadoop HA高可用集群搭建及常见问题处理
kw-home
02-13 1174
最近研究了下公司的hadoop集群并模仿搭建了一个在本地测试使用的hadoop集群。本文介绍下详细的搭建过程以及各种常见问题的处理解决。  1 ,  前期准备 1.1  ,  准备Linux环境，配置虚拟机网络环境，修改虚拟机IP地址（最好使用第一种配置，简单且不容易出错）         注意，修改之前建议使用 root 管理员权限登陆，这样会避免特别多问题，等集群搭建好之后在用普通用户登...
七、Hadoop系统应用之搭建Hadoop高可用集群（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）
weixin_42051846的博客
12-16 2134
Hadoop系统应用实验之搭建Hadoop高可用集群，熟悉Hadoop高可用集群的搭建过程，WIN10系统，虚拟机软件VMware Workstation 15.5 PRO，Linux版本CentOS-6.7，超详细步骤配图详解，对新手友好。
Hadoop完全分布集群搭建及高可用搭建
L2385766210的博客
10-23 815
配置文件路径在hadoop中etc文件夹。修改core-site.xml文件。修改mapred-site.xml。修改mapred-stie.xml。修改yarn-site.xml文件。6、格式化ZKFC，启动ZKFC。修改hadoop-env.sh。修改hdfs-site.xml。修改yarn-site.xml。修改core-site.xml。修改hdfs-site.xml。4、启动JournalNode。8、启动副节点namenode。5、格式化namenode。7、启动namenode。
【Hadoop】HA高可用搭建保姆级教程（大二学长的万字笔记）
你不来，再美的天地，都狼藉 ~
05-29 6517
Hadoop HA高可用搭建保姆级教程，来自正在学习大数据导论的大二学长的万字笔记，干得不能再干的干货分享！
hadoop ha搭建 namenode格式化失败等错误
m0_37513685的博客
04-21 3719
简单来说，按照官方配置即可，但是要足够细心配置xml文件 先贴自己虚拟机搭建namenode格式化错误 昨晚搜索了一下没找到确定的解决办法，决定是配置文件的原因，自己早上去官网看了下配置文件 我的hdfs-site.xml 配置文件,居然不是英文逗号....是没睡醒嘛 继续格式化namenode继续报错 官网文档已经明确写了 这个名字在前面已经配置过 我的配...
Hadoop Yarn 高可用配置时的错误解决办法
happyfreeangel的博客
09-24 2531
找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster 配置Yarn ResourceManager 高可用时，遇到了一个坑。 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster 参考了网上各种解决办法，运行演示程序 cd $HADOOP_HOME/share/hadoop...
基于 ZooKeeper 搭建 Hadoop 高可用集群 的教程图解
09-29
Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多，所以它的实现也更加复杂，下面给大家详细...
HadoopHA高可用集群启动脚本
07-07
使用需要修改成自己的路径 用sh ./ha-start启动
HadoopHA高可用集群配置 yarn-site.xml
07-07
HadoopHA高可用集群配置 yarn-site.xml yarn两台namenode配置不同
【Hadoop】-Hive客户端：HiveServer2 & Beeline 与DataGrip & DBeaver[14]
weixin_63106307的博客
04-24 509
DataGrip是由JetBrains公司推出的数据库管理软件，DataGrip支持几乎所有主流的关系数据库产品，如DB2、Derby、MySQL、Oracle、SQL Server等，也支持几乎所有主流的大数据生态圈SQL软件，并且提供了简单易用的界面，开发者上手几乎不会遇到任何困难。3、连接成功，在里面我们可以看到我们前面章节所创建的表，这样子就可以在里面操作我们的sql语句的。5、连接成功，在里面我们可以看到我们前面章节所创建的表，这样子就可以在里面操作我们的sql语句的。
【Hadoop】-Apache Hive使用语法与概念原理[15]
最新发布
weixin_63106307的博客
04-24 100
使用location关键字，可以指定数据库在HDFS的存储路径。/user/hive/warehouse内。数据库本质上就是在HDFS之上的文件夹。
C#WPF相对好看的登录界面
weixin_50236846的博客
04-19 221
创作背景：每一个项目都会有一个登录窗口，我个人是比较在意登录窗口的美观程度的，起码来说不要让人看到登录窗口，就有劝退的既视感。这里给出一个相对简单，并且有种简约美感的界面，分享给大家。
自己在hadoop中会输错的命令
2303_77434440的博客
04-24 162
（10）HQL中，“select ceil(2.34);（12）在保证HBase服务已经启动的情况下，进入。（08）HIVE适用的场景是：实时的在线数据分析。使用这个命令可以在hdfs上面创建一个。运用这个命令可以删除这个错误的文件目录。（05）HQL和SQL的一个不同之处在于。这个命令作用是由此开始将hdfs复制到。（09）HIVE默认分桶的数量是：-1。（18）Mapreduce程序最后。（07）hive的全局变量是在。（没有了-C这个填写记录）src为hdfs文件路径。的时候，指定字段之间的。
mapreduce中的ReduceTask工作机制（Hadoop）
喻师傅的学习笔记
04-18 637
ReduceTask工作机制
Hadoop高可用集群搭建
04-29
ZooKeeper是Hadoop集群高可用性的核心组件。在Hadoop 2.x版本中，ZooKeeper是必须的。因此，需要先安装ZooKeeper。 2. 配置ZooKeeper 在ZooKeeper中，需要配置一些参数，如集群节点的IP地址、端口号等。这些参数将...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值