hadoop高可用搭建以及问题解决方案

最新推荐文章于 2024-05-12 14:31:22 发布
最新推荐文章于 2024-05-12 14:31:22 发布
阅读量983 收藏 2
点赞数
文章标签： hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47554949/article/details/106801497
版权
本文详细介绍了如何搭建Hadoop高可用集群，包括四台服务器规划、JDK安装、时间同步、配置检查、免密钥设置、Zookeeper安装及启动，以及在遇到启动问题时的解决方法。在搭建过程中，强调了重要步骤和可能遇到的问题，例如通过Zookeeper进行NameNode的自动切换，以及JournalNode在数据同步中的作用。最后，文章还涉及了MapReduce的准备和WordCount示例运行。
摘要由CSDN通过智能技术生成

**
根据安装步骤一步一步仔仔细细做下来，基本上不会遇到问题。
我整个做下来，在启动zookeeper的时候node03无法启动，最终通过重新克隆虚拟机node05代替node03解决这个问题，后面这个错误有详细的解决方法
还有一些问题去hadoop logs里看看
路径：cd /opt/sym/hadoop-2.6.5/logs
打开：tail -100 文件名
修改hdfs-site.xml这种比较长的
可以通过xftp 把xml文件传到桌面，然后用edit with notepad++打开编辑，更方便检查修改，完成后把xml 文件传回相应的位置

**

Hadoop HA原理

为了防止单点故障(对于只有一个NameNode的集群，如果NameNode机器出现意外情况，比如机器挂掉了，或者节点软件或硬件的升级，将导致整个集群无法使用)采用高可用模式：
很多台 DataNode向NameNode汇报数据（比如block块发生什么变化，时间发生什么变化…）
有两台NameNode，一个处于active状态，另一个处于standby状态。在任一时刻，只有一个NameNode处于active状态，另一个处于standby状态。standby可以确保在集群出错时，命名空间状态已经完全同步了。
Active NameNode对外提供服务，比如处理来自客户端的RPC请求，而Standby NameNode仅同步Active NameNode的状态，以便能够在它失败时快速进行切换。
在这里插入图片描述
JournalNode管理2台NameNode数据交换，控制NameNode数据同步。
如果发现一台有问题，就切换active，当active状态的NameNode的命名空间有任何修改时，会告知大部分的JournalNode进程。standby状态的NameNode有能力读取JN中的变更信息，并且一直监控edit log的变化，把变化应用于自己的命名空间。

而JournalNode是手动切换的，下面讲的ZooKeeper是自动切换（集群里都是用zookeeper自动切换）。
ZooKeeper 有两个进程监视器ZooKeeper Failover Controller(ZKFC)，每一台NameNode都有一台ZKFC监视它，当ZKFC监视的NameNode挂掉了，马上汇报给ZooKeeper，ZooKeeper查看另一台是Standby状态，赶快把Standby状态显示active，让它顶上去起作用。

1.四台服务器集群规划

在这里插入图片描述

2.分发jkd到node02、03、04

-scp jdk-7u67-linux-x64.rpm node02:pwd
-scp jdk-7u67-linux-x64.rpm node03:pwd
-scp jdk-7u67-linux-x64.rpm node04:pwd

并在Xshell的全部会话栏里一起ll，看jdk是否发送成功。
*注意：` 这一符号是数字1左边这个键
在这里插入图片描述
cd ll 一下看看jdk有没有发好
在这里插入图片描述

3.给node02、03、04分别安装jdk

  1. 分别在node02、03、04上执行rpm安装命令
    -rpm -i jdk-7u67-linux-x64.rpm
    在这里插入图片描述
  2. 在node01上cd /etc，在此目录下把profile文件分发到node02、03、04上。
    -scp profile node04:pwd
    在这里插入图片描述
  3. 利用Xshell全部会话栏，source /etc/profile
  4. 利用Xshell全部会话栏，jps，看02、03、04这三台机子的jdk是否装好。
    在这里插入图片描述

4.同步所有服务器的时间

  1. -date 查看机子当前的时间。
    (4台都看一下)
    在这里插入图片描述
    若时间不同步:
  2. yum进行时间同步器的安装
    -yum -y install ntp
    在这里插入图片描述
  3. 执行同步命令
    -ntpdate time1.aliyun.com 和阿里云服务器时间同步
    在这里插入图片描述

5 .装机之前的配置文件检查

(1)查看HOSTNAME是否正确

-cat /etc/sysconfig/network
在这里插入图片描述

(2)查看IP映射是否正确

-cat /etc/hosts
在这里插入图片描述
若不正确，可以改文件，也可以把node01上的用scp分发过去。

(3)检查SELINUX=disabled

-cat /etc/sysconfig/selinux里是否
SELINUX=disabled
在这里插入图片描述

(4)查看防火墙是否关闭

service iptables status
在这里插入图片描述

6.NN与其他三台机子的免秘钥设置

  1. 在家目录下 ll –a看下有无.ssh文件，如果没有就ssh loalhost一下（ssh localhost后不要忘记exit）。
    在这里插入图片描述
  2. -cd .ssh ，并ll查看一下
最低0.47元/天 解锁文章
weixin_47554949
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop高可用（HA机制）详解
weixin_43230682的博客
08-11 3069
目录 一、ZooKeeper监听器 二、HDFS HA原理 1、元数据同步 2、主备切换 在前面的文章Zookeeper（2）基础架构与内部原理解析（数据存储、watch机制、监听器、选举机制）中有详细介绍分布式协调框架Zookeeper的相关组件和原理，本文结合Zookeeper当中的监听器再来进一步介绍HDFS的HA方案。 一、ZooKeeper监听器 关于ZooKeeper监听器有三个重要的逻辑： 注册：客户端向ZooKeeper集群注册监听器 监听事件：监听器负责监听.
Hadoop高可用（Hadoop2.x）
m0_67402341的博客
09-06 1809
两个单独的计算机配置为NameNode。单个NameNode节点的机器的内存是有限的，随着对HDFS文件系统的操作次数的增多，产生的日志文件(edits.log)和元数据的序列化文件(FsImage)会不断的增大，最终元数据文件会读到内存之中，而内存是有限，这样就会导致HDFS的启动速度变慢，也不利于集群DataNode的扩展。查看NameNode的状态，将active状态的NameNode杀掉，一般会根据启动的顺序决定NameNode的状态，使用kill命令杀掉NameNode进程。
Hadoop系列-Hadoop高可用（三）
Toby的博客
11-21 1681
Hadoop高可用，及其三个主要组件的高可用，共同组成Hadoop生态系统的高可用
Hadoop高可用
m0_57697768的博客
04-08 277
（1）所谓 HA（High Availablity），即高可用（7*24 小时不中断服务）。（2）实现高可用最关键的策略是消除单点故障。HA 严格来说应该分成各个组件的 HA机制：HDFS 的 HA 和 YARN 的 HA。（3）NameNode 主要在以下两个方面影响 HDFS 集群➢ NameNode 机器发生意外，如宕机，集群将无法使用，直到管理员重启➢ NameNode 机器需要升级，包括软件、硬件升级，此时集群也将无法使用。
Hadoop之Ha高可用搭建教程
weixin_74865657的博客
03-18 1723
随着大数据技术的不断发展，Hadoop作为开源的大数据处理框架，已经广泛应用于各种场景中。然而，在大型生产环境中，Hadoop集群的稳定性和可用性显得尤为重要。为了保障Hadoop集群的高可用性（HA），我们需要采用一系列的技术和策略。本文将重点介绍Hadoop集群的HA高可用方案。Hadoop集群的HA高可用主要指的是在集群中的关键组件出现故障时，能够自动切换到其他节点继续提供服务，从而确保整个集群的稳定运行。Hadoop集群的HA高可用方案是保障集群稳定性和可用性的重要手段。
HADOOP高可用搭建过程
yaellesydi的博客
06-19 368
第一章 vmware安装与Linux基础配置 1.1下载安装vmware 照着步骤 教程 xshell： 教程 xftp： 教程 1.2：新建虚拟机 教程： 1.3初步配置Linux 1.3.1启动虚拟机，配置IP 1、修改网络配置文件 vi /etc/sysconfig/network-scripts/ifcfg-eth0 linux主机刚安装好时，ONBOOT属性的缺省值为no，需要修改为yes，BOORPROTO缺省值为dhcp，需要修改为static。 然后设置IP地址，网络掩码，网关等。 2、重
hadoop高可用搭建
11-13
hadoop集群搭建高可用文档在Hadoop2.x之后的版本，提出了解决单点问题的方案－－HA（High Available 高可用）。这篇博客阐述如何搭建高可用的HDFS和YARN，执行步骤如下： 创建hadoop用户 安装JDK 配置hosts 安装SSH ...
Hadoop3以及高可用HA搭建方式.zip
07-10
本教程将详细阐述Hadoop3的基础知识及其高可用性（High Availability，简称HA）的搭建方法。 首先，我们需要理解Hadoop的核心组件：HDFS（Hadoop Distributed File System）和YARN（Yet Another Resource ...
配置高可用的Hadoop平台
01-30
在Hadoop2.x之后的版本，提出了解决单点问题的方案－－HA（HighAvailable高可用）。这篇博客阐述如何搭建高可用的HDFS和YARN。然后根据提示，设置密码。接着我给hadoop用户设置面免密码权限，也可自行添加其他权限。...
Hadoop高可用完全分布模式完整部署手册PPT
11-16
通过学习这份教程，读者不仅能够掌握Hadoop的高可用部署，还能了解Zookeeper和HBase的基本概念和操作，为在实际工作中解决大数据处理问题打下坚实的基础。同时，对于想要提升自己在大数据领域专业技能的IT从业者，这...
高可用的分布式Hadoop大数据平台搭建，超详细，附代码。
无求道贾的博客
03-18 7233
简单五大步，搭建Hadoop分布式大数据平台。
Hadoop High Availability (高可用)你该了解这些！
03-11 3623
Hadoop High Availability HA(High Available), 高可用，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，分为活动节点（Active）及备用节点（Standby）。通常把正在执行业务的称为活动节点，而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题，导致正在运行的业务（任务）不能正常运行时，备用节点此时就会侦测到，并立即接续活动节点来执...
HADOOP 高可用搭建
m0_60458199的博客
11-04 3033
首先先说一下大概的步骤，就用四台为例，简单适合新手操作。 流程是：创建虚拟机，配置好；搭建linux系统；安装jdk（因为后面好多都依赖jkd）；免密登录ssh；安装zookeeper；最后就是搭建高可用了。不熟练的小伙伴可以先试试单机模式。 这是我的四台机子加一个单机模式 。 1.创建虚拟机就不多说了，一直下一步下一步，重复四次创建4个。当然有疑问的可以私聊我，我帮你解决。创建好后就是修改配置 首先输入vi /etc/sysconfig/network-scripts/ifcfg-ens33，
Hadoop之Ha高可用搭建教程_启动hadoop高可用集群
2401_84170623的博客
04-27 679
DataNode | 有 | 有 | 有 | 存储实际数据，参与数据块的读写操作 || NodeManager | 有 | 有 | 有 | 负责管理容器生命周期，与ResourceManager通信 |
【Hadoop】HA高可用搭建保姆级教程（大二学长的万字笔记）_hadoop的高可用搭建
2401_84166396的博客
05-03 905
注意要将 zoo_sample.cfg 文件改名为 zoo.cfg，这个文件在 zookeeper 目录的 conf 目录下。不需要启动Zookeeper的节点，不需要配置进来。ZKFailOverController是Hadoop中通过ZK实现FC（故障转移）功能的一个实用工具。
最新Hadoop之Ha高可用搭建教程_启动hadoop高可用集群，2024年最新2024大数据开发开发面试解答
最新发布
2401_84164527的博客
05-12 815
随着大数据技术的不断发展，Hadoop作为开源的大数据处理框架，已经广泛应用于各种场景中。然而，在大型生产环境中，Hadoop集群的稳定性和可用性显得尤为重要。为了保障Hadoop集群的高可用性（HA），我们需要采用一系列的技术和策略。本文将重点介绍Hadoop集群的HA高可用方案。Hadoop集群的HA高可用主要指的是在集群中的关键组件出现故障时，能够自动切换到其他节点继续提供服务，从而确保整个集群的稳定运行。
【Hadoop大数据技术】——Hadoop高可用集群（学习笔记）
HinsCoder的博客
03-21 1442
Hadoop设计之初，在架构设计和应用性能方面存在很多不如人意的地方，如HDFS和YARN集群的主节点只能有一个，如果主节点宕机无法使用，那么将导致HDFS或YARN集群无法使用，针对上述问题，Hadoop在后续的版本更新中做出了改进和完善，用户可以为HDFS和YARN集群添加备用的主节点，这样即使主节点宕机无法使用，备用的主节点也可以代替原有的主节点来维持HDFS和YARN集群能够正常运行，这就是所谓的Hadoop高可用集群。
【亲测】Hadoop 高可用集群搭建 与 开发环境部署，前端快速开发
2401_84092508的博客
04-05 376
你要问前端开发难不难，我就得说计算机领域里常说的一句话，这句话就是『难的不会，会的不难』，对于不熟悉某领域技术的人来说，因为不了解所以产生神秘感，神秘感就会让人感觉很难，也就是『难的不会』；当学会这项技术之后，知道什么什么技术能做到什么做不到，只是做起来花多少时间的问题而已，没啥难的，所以就是『会的不难』。我特地针对初学者整理一套前端学习资料，免费分享给大家，戳这里即可免费领取;esac命令你要问前端开发难不难，我就得说计算机领域里常说的一句话，这句话就是『难的不会，会的不难。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值