HDFS+NFS+ZOOKEEPER实现Hadoop高可用集群

最新推荐文章于 2024-07-07 13:01:49 发布

「已注销」

最新推荐文章于 2024-07-07 13:01:49 发布

阅读量1.4k

点赞数 2

分类专栏：运维 hadoop 文章标签： mapreduce hadoop zookeeper 分布式存储 NFS文件系统

本文链接：https://blog.csdn.net/Lockey23/article/details/78336159

版权

本文介绍了如何使用HDFS、NFS和ZooKeeper搭建Hadoop高可用集群。首先概述了Hadoop的核心架构和优点，接着详细阐述了从新建用户、配置NFS、安装Java环境、部署ZooKeeper到安装配置Hadoop的每一步骤。实验环境为Redhat 6.5，文章提供了关键配置和命令示例，包括NFS共享、Java环境变量设置、ZooKeeper配置及Hadoop集群的故障切换测试。

摘要由CSDN通过智能技术生成

Hadoop是什么？

这里写图片描述

Hadoop的创始人Doug Cutting解释Hadoop的得名 ：“这个名字是我孩子给一个棕黄色的大象玩具命名的。我的命名标准就是简短，容易发音和拼写，没有太多的意义，并且不会被用于别处。小孩子恰恰是这方面的高手”，我只能说大神们果然任性！

Hadoop是开源的、分布式存储、分布式计算平台。Hadoop原本来自于谷歌一款名为MapReduce的编程模型包。谷歌的MapReduce框架可以把一个应用程序分解为许多并行计算指令，跨大量的计算节点运行非常巨大的数据集。使用该框架的一个典型例子就是在网络数据上运行的搜索算法。Hadoop 最初只与网页索引有关，迅速发展成为分析大数据的领先平台。

核心架构

这里写图片描述

Hadoop优点：

高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。

高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。

高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

应用场景：

Web 搜索，即数据挖掘
大数据的并行计算
3-D建模与渲染，气象预报，科学计算等

Hadoop简短介绍就到这，接下来进入实战环节：

在典型的 HA 集群中，通常有两台不同的机器充当 NN。在任何时间，只有一台机器处于Active 状态；另一台机器是处于 Standby 状态。Active NN 负责集群中所有客户端的操作；而 Standby NN 主要用于备用，它主要维持足够的状态，如果必要，可以提供快速的故障恢复。为了让 Standby NN 的状态和 Active NN 保持同步，即元数据保持一致，它们都将会和JournalNodes 守护进程通信。当 Active NN 执行任何有关命名空间的修改，它需要持久化到一半以上的 JournalNodes 上(通过 edits log 持久化存储)，而 Standby NN 负责观察 edits log的变化，它能够读取从 JNs 中读取 edits 信息，并更新其内部的命名空间。一旦 Active NN出现故障，Standby NN 将会保证从 JNs 中读出了全部的 Edits，然后切换成 Active 状态。Standby NN 读取全部的 edits 可确保发生故障转移之前，是和 Active NN 拥有完全同步的命名空间状态。为了提供快速的故障恢复，Standby NN 也需要保存集群中各个文件块的存储位置。为了实现这个，集群中所有的 Database 将配置好 Active NN 和 Standby NN 的位置，并向它们发送块文件所在的位置及心跳，如下图所示：

这里写图片描述

在任何时候，集群中只有一个NN处于Active 状态是极其重要的。否则，在两个Active NN的状态下 NameSpace 状态将会出现分歧，这将会导致数据的丢失及其它不正确的结果。为了保证这种情况不会发生，在任何时间，JNs 只允许一个 NN 充当 writer。在故障恢复期间，将要变成 Active 状态的 NN 将取得 writer 的角色，并阻止另外一个NN 继续处于Active状态。

实验主机环境与安装配置列表：

OS均为: Redhat enterprise release 6.5 x86_64bit，均安装jdk
Selinux关闭，防火墙关闭并且做好解析

IP	HOSTNAME	ROLE && SOFTWARES TO INSTALL
192.168.0.109	cobbler1	hadoop、NFS服务器，NameNode、DFSZKFailoverController、ResourceManager
192.168.0.126	cobbler2	zookeeper，JournalNode、QuorumPeerMain、DataNode、NodeManager
192.168.0.x	cobbler3	zookeeper，JournalNode、QuorumPeerMain、DataNode、NodeManager
192.168.0.x	cobbler4	zookeeper，JournalNode、QuorumPeerMain、DataNode、NodeManager