Hadoop集群搭建（五：Hadoop HA集群模式的安装）

最新推荐文章于 2023-05-21 18:30:59 发布
最新推荐文章于 2023-05-21 18:30:59 发布
阅读量780 收藏 3
点赞数
分类专栏： 操作系统 大数据技术 Hadoop学习 文章标签： Hadoop 大数据 集群搭建 CentOS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37823605/article/details/90477863
版权

实验

目的

要求

目的：

1、Hadoop的高可用完全分布模式的安装和验证

要求：

  1. 完成Hadoop的高可用完全分布模式的安装；
  2. Hadoop的相关服务进程能够正常的启动；
  3. HDFS能够正常的使用；
  4. MapReduce示例程序能够正常运行；

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

实

验

环

境

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  1. 五台独立PC式虚拟机。
  2. 主机之间有有效的网络连接
  3. 每台主机内存2G以上，磁盘50G。
  4. 所有主机上安装CentOS7-64位操作系统。
  5. 所有主机已完成网络属性配置
  6. 所有主机已安装JDK
  7. 已完成Zookeeper集群的安装和部署

 

软件版本：

        选用Hadoop的2.7.3版本，软件包名Hadoop-2.7.3.tar.gz

 

集群规划：

          * Hadoop的高可用完全分布模式中有HDFS的主节点和数据节点、MapReduce的主节点和任务节点、数据同步通信节点、主节点切换控制节点总共6类服务节点,其中HDFS的主节点、MapReduce的主节点、主节点切换控制节点共用相同主机Cluster-01和Cluster-02,HDFS的数据节点、MapReduce的任务节点共用相同主机Cluster-03、Cluster-04,Cluster-05,数据同步通信节点可以使用集群中的任意主机,但因为其存放的是元数据备份,所以一般不与主节点使用相同主机。

*高可用完全分布模式中需要满足主节点有备用的基本要求, 所以需要两台或以上的主机作为主节点,而完全分布模式中需要满足数据有备份和数据处理能够分布并行的基本要求,所以需要两台或以上的主机作为HDFS的数据节点和MapReduce的任务节点,同时数据同步通信节点工作原理同Zookeeper类似,需要三台或以上的奇数台主机,具体规划如下:

 

主机名

IP地址

服务描述

Cluster-01

192.168.10.111

Hadoop主节点

Hadoop主节点控制切换服务

YARN主节点

Cluster-02

192.168.10.112

Hadoop备用主节点

Hadoop主节点控制切换服务

YARN备用主节点

Cluster-03

192.168.10.113

Hadoop数据服务

Hadoop同同步通信服务

YARN节点管理服务

Cluster-04

192.168.10.114

Hadoop数据服务

Hadoop同同步通信服务

YARN节点管理服务

Cluster-05

192.168.10.115

Hadoop数据服务

Hadoop同同步通信服务

YARN节点管理服务

 

 

实验内容

步骤一：Hadoop基本安装配置

注：1、该项的所有操作步骤使用专门用于集群的用户admin进行；

  1. 此项只在一台主机操作，然后在下一步骤进行同步安装与配置；

 

1、创建用于存放Hadoop相关文件的目录，并进入该目录，将软件包解压；

命令：

     $mkdir ~/hadoop

     $cd ~/hadoop

     $tar -xzf ~/setups/Hadoop-2.7.3.tar.gz

 

2、配置Hadoop相关环境变量；

命令：

     $vi ~/.bash_prolife

3、使新配置的环境变量立即生效，查看新添加和修改的环境变量是否设置成功，以及环境变量是否正确，验证Hadoop的安装配置是否成功；

命令：

     $source ~/.bash_profile

     $echo $HADOOP_HOME

     $echo $PATH

     $hadoop version

 

步骤二：Zookeeper完全分布模式配置；

注：该项的所有操作步骤使用专门用于集群的用户admin进行；

 

1、进入Hadoop相关文件的目录，分别创建Hadoop的临时文件目录“tmp”、HDFS的元数据文件目录“name”、HDFS的数据文件目录“data”、Journal的逻辑状态数据目录“journal”；

2、进入Hadoop的配置文件所在目录，对配置文件进行修改，找到配置项“JAVA_HOME”所在行，将其改为以下内容：

Export

JAVA_HOME=/home/admin/java/jdk1.8.0_131

命令：

     $cd ~/Hadoop/Hadoop-2.7.3/etc/Hadoop

     $vi Hadoop-env.sh

3、对配置文件core-site.xml进行修改，找到标签“<configuration>”所在位置，在其中添加如下红色部分的内容：

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadoop-ha</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/admin/hadoop/tmp</value>

</property>

<property>

<name>ha.zookeeper.quorum</name>

<value>Cluster-01:2181,Cluster-02:2181,Cluster-03:2181,Cluster-04:2181,Cluster-05:2181</value>

</property>

</configuration>

4、对配置文件hdfs-site.xml进行修改，找到标签“<configuration>”所在位置，在其中添加如下红色部分的内容：

<configuration>

<property>

<name>dfs.nameservices</name>

<value>hadoop-ha</value>

</property>

<property>

<name>dfs.ha.namenodes.hadoop-ha</name>

<value>name-1,name-2</value>

</property>

<property>

<name>dfs.namenode.rpc-address.hadoop-ha.name-1</name>

<value>Cluster-01:9000</value>

</property>

<property>

<name>dfs.namenode.http-address.hadoop-ha.name-1</name>

<value>Cluster-01:50070</value>

</property>

<property>

<name>dfs.namenode.rpc-address.hadoop-ha.name-2</name>

<value>Cluster-02:9000</value>

</property>

<property>

<name>dfs.namenode.http-address.hadoop-ha.name-2</name>

<value>Cluster-02:50070</value>

</property>

<property>

<name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://Cluster-03:8485;Cluster-04:8485;Cluster-05:8485/hadoop-ha</value>

</property>

<property>

<name>dfs.journalnode.edits.dir</name>

<value>/home/admin/hadoop/journal</value>

</property>

<property>

<name>dfs.ha.automatic-failover.enabled</name>

<value>true</value>

</property>

<property>

<name>dfs.client.failover.proxy.provider.hadoop-ha</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

<property>

<name>dfs.ha.fencing.methods</name>

<value>

sshfence

shell(/bin/true)

</value>

</property>

<property>

<name>dfs.ha.fencing.ssh.private-key-files</name>

<value>/home/admin/.ssh/id_rsa</value>

</property>

<property>

<name>dfs.ha.fencing.ssh.connect-timeout</name>

<value>30000</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>/home/admin/hadoop/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/home/admin/hadoop/data</value>

</property>

<property>

<name>dfs.replication</name>

<value>3</value>

</property>

</configuration>

    

5、由模板文件拷贝生成配置文件“mapred-site.xml”

命令：

     $cp mapred-site.xml.template mapred-site.xml

     $vi mapred-site.xml

找到标签“<configuration>”所在位置，在其中添加如下红色部分的内容：

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

6、对配置文件yarn-site.xml进行修改，找到标签“<configuration>”所在位置，在其中添加如下红色部分的内容：

<configuration>

<!-- Site specific YARN congfiguration proerties -->

<property>

<name>yarn.resourcemanager.ha.enabled</name>

<value>true</value>

</property>

<property>

<name>yarn.resourcemanager.cluster-id</name>

<value>yarn-ha</value>

</property>

<property>

<name>yarn.resourcemanager.ha.rm-ids</name>

<value>resource-1,resource-2</value>

</property>

<property>

<name>yarn.resourcemanager.hostname.resource-1</name>

<value>Cluster-01</value>

</property>

<property>

<name>yarn.resourcemanager.hostname.resource-2</name>

<value>Cluster-02</value>

</property>

<property>

<name>yarn.resourcemanager.zk-address</name>

<value>Cluster-01:2181,Cluster-02:2181,Cluster-03:2181,Cluster-04:2181,Cluster-05:2181</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

 

   

   

7、对配置文件yarn-env.sh进行修改，找到配置项“JAVA_HOME”所在行，将其改为以下内容：

Export

JAVA_HOME=/home/admin/java/jdk1.8.0_131

8、对配置文件slaves进行修改，删除文件中原有的所有内容，然后添加集群中所有数据节点的主机名，每行一个主机的主机名，配置格式如下：

Cluster-03

Cluster-04

Cluster-05

   

步骤三：同步安装和配置；

注：该项的所有操作不受使用准们用于集群的用户admin进行。

1、将“Hadoop”目录和“.bash_profile”文件发给集群中所有主机，发送目标用户为集群专用用户admin，发送目标路径为“/home/admin”，即集群专用用户admin的家目录。

2、使新配置的环境变量立即生效，查看新添加和修改的环境变量是否设置成功，以及环境变量是否正确，验证Hadoop的安装配置是否成功；

命令：

     $source ~/.bash_profile

     $echo $HADOOP_HOME

     $echo $PATH

     $hadoop version

步骤四：Hadoop高可用完全分布模式格式化和启动；

注：注意本节格式化内容不可多次执行

注意格式化步骤

该项的所有操作步骤使用专门用于集群的用户admin进行；

 

1、在所有同步通信节点的主机执行，启动同步通信服务，然后使用命令“jps”查看java进程信息，若有名为“journalNode”的进程，则表示同步通信节点启动成功。

命令：

     $hadoop-deamon.sh start journalnode

 

2、在主节点使用此命令，对HDFS进行格式化，若格式化过程中没有报错则表示格式化成功；

命令：

     $hadoop namenode -format

3、格式化完成后将“Hadoop”目录下的“name”目录发给集群中所有备用主节点的主机，发送目标用户为集群专用用户admin，即当前与登录用户同名用户，发送目标路径为“/home/admin/hadoop”，即集群专用用户admin家目录下的Hadoop相关文件的目录；

命令：

     $scp -r ~/Hadoop/name admin@Cluster-02:/home/admin/Hadoop

4、在集群中所有主机使用“zkServer.sh status”命令，查看该节点Zookeeper服务当前的状态，若集群中只有一个“leader”节点，其余的均为“follower”节点，则集群的工作状态正常；

如果Zookeeper未启动，则在集群中所有主机使用“zkServer.sh start”命令，启动Zookeeper服务的脚本；

5、在主节点使用“hdfs zkfc -formatZK”命令，对Hadoop集群在Zookeeper中的主节点切换控制信息进行格式化。

6、在所有同步通信节点的主机，使用“Hadoop-daemon.sh stop journalnode”命令，关闭同步通信服务。

7、在主节点使用“start-all.sh”命令，启动Hadoop集群；

8、在所有备用主节点的主机，使用“yarn-deamon.sh start resourcemanager”命令，启动yarn主节点服务；

9、在主节点使用命令“jps”查看Java进程信息,若有名为“NameNode”,"ResourceManager”“DFSZKFailoverController”的三个进程,则表示Hadoop集群的主节点启动成功。

10、使用命令“ssh 目标主机名或IP地址”远程登录到所有备用主节点主机,使用命令“jps”查看Java进程信息,若有名为“NameNode”,"ResourceManager”“DFSZKFailoverController”的三个进程,则表示Hadoop集群的备用主节点启动成功。

 

步骤五：Hadoop高可用完全分布模式启动和验证；

注：该项所有的操作使用专门用于集群的用户admin进行；

 

1、在Hadoop中创建当前登录用户自己的目录，查看HDFS中的所有文件和目录的结构；

2、进入Hadoop的示例程序包hadoop-mapreduce-examples-2.7.3.jar所在目录；

运行使用蒙地卡罗法计算PI的示例程序；

 

出现的问题与解决方案

问题：

  1. Namenode没有启动；

解决方案：

  1. 格式化namenode,命令“hdfs namenode -format”；

此时向HDFS拷贝文件发现出现如下错误

$hdfs dfs -mkdir -p /home/admin.hadoop

再次运行jps发现，datanode没有启动。

 

经过查询资料发现：

当我们使用hdfs namenode -format格式化namenode时，会在namenode数据文件夹（这个文件夹为自己配置文件hdfs-site.xml中dfs.namenode.name.dir的路径）中保存一个current/VERSION文件，记录clusterID，datanode数据文件夹（这个文件夹为自己配置文件中dfs.dataNode.name.dir的路径）中保存的current/VERSION文件中的clustreID的值是第一次格式化保存的clusterID，这样，datanode和namenode之间的ID不一致

所以，在格式化之前先删除 dfs.name.dir指定目录下的所有文件（注意删目录下所有的文件及文件夹而不是删除该目录）

       命令：

$hdfs namenode -format

$start-all.sh

$jps

 

知识拓展

1、使用浏览器访问192.168.10.111:8088，查看并管理Hadoop

2、使用浏览器访问192.168.10.111:50070，查看HDFS情况

3、Hadoop是一种分布式系统的基础构架。

核心是HDFS和MapReduce，hadoop2.0还包括YARN

4、HDFS：Hadoop Distributed FileSystem 分布式文件系统。

//很多时候的数据量超过了单台机器允许存储的范围……故而需要分布式

前身是GFS，谷歌开源的分布式存储系统。

是一个高容错（允许错误发生）的系统，能检测应对硬件故障。

适用于低成本的通用硬件（比如树莓派么）

通过流式数据访问，提供高吞吐量应用程序的访问功能。

 

5、异常处理：

因为数量多，所以出故障是常态。

 

【可靠性】存在故障的时候也能较为有效地存储数据。（名字节点故障，数据节点故障，网络断开）

【重新复制】定时会发送“心跳包”检测节点是否健康，失去联系标记为死亡状态，需要重新复制到其他节点。

【数据正确性】校验数据是否有坏块（类似于葡萄的校验？，验证的校验码存储在HDFS命名空间的隐藏文件中）

【元数据失效】FsImage和Editlog是HDFS的核心数据结构。（损坏就崩盘了）名字节点（NameNode)如果崩了就需要人工的干预了。//第二名字节点不支持直接恢复

 

 

6、目标

 

  1. 数据访问：适合批量处理而非交互式，重点是数据吞吐量而非反应时间
  2. 大数据：支持大文件，单个文件GB-TB级别
  3. 简单一致模式：一次写入，多次读，一般写入之后就不再修改了
  4. 主从结构：一个名字节点和很多数据节点，通常一台机器一个数据节点。
  5. 硬件故障处理：是设计的核心目标之一
Eyeshort
关注
专栏目录
大数据Hadoop（六）：全网最详细的Hadoop集群搭建
Lansonli（蓝深李）的博客
05-24 5281
目录 Hadoop集群搭建 集群简介 集群部署方式 1、Standalone mode（独立模式） 2、Pseudo-Distributed mode（伪分布式模式） 3、Cluster mode（群集模式）-单节点模式-高可用HA模式 集群环境准备 hadoop重新编译 为什么要编译hadoop Hadoop编译实现 Hadoop安装 Hadoop安装包目录结构 Hadoop配置文件修改 数据目录创建和文件分发 ​​​​​​​配置Hadoop的环境变量 ​​​​​​​...
hadoop的HA安装
慧子的博客
09-04 256
下载安装的hadoop安装包地址：https://archive.apache.org/dist/hadoop/common/ 1.将下载的安装包解压;tar -zxvf hadoop-2.7.5.tar.gz 2.修改环境变量 vi /etc/profile export HADOOP_HOME=/data/hadoop/hadoop-2.7.5 export PATH=$PA...
hadoop3种集群方式
weixin_34163553的博客
07-26 164
2019独角兽企业重金招聘Python工程师标准>>> ...
Hadoop HA 集群搭建
zwlo6的博客
10-22 378
概述1. 简介 针对Hadoop 1.x中NameNode的单点故障（SPOF）问题，Hadoop2.0的HA（High Avalability，高可用性）机制通过使用两个NameＮode（ＮＮ）实现对NameNode 的热备来解决这一问题。一个Active NameNode（ANN），状态是active；另一个是Standby NameNode（SNN），状态是standby。两者的状态可以切换
Hadoop完全集群模式的搭建
XXuan_的博客
03-07 235
1、需要的环境 三台一样的机器（只是其中的进程不一样） 其中nameNode和secondaryNode不要放在同一台机器上 而ResourceManager也需要独立放置在一台机器上 2、虚拟机相关的配置 我们需要三台虚拟机 首先从base机（最原始的系统机）克隆一台虚拟机 然后在这台虚拟机上把基本的配置全都做好 然后再通过这台虚拟机 克隆出另外的两台。 基础配置： *修改root密码 *s...
hadoop四种集群模式
m0_67402588的博客
08-16 1402
伪分布式模式（单机模式）。将hadoop安装在一台机器上，通过进程来模拟各主机节点的协作和运行，其可靠性、稳定性都是非常差的，并且具备糟糕的性能效率，一般只是用来开发调试。
Hadoop集群搭建详细简明教程
05-16
本教程“Hadoop集群搭建详细简明教程”将带你逐步走进Hadoop的世界，了解并掌握如何构建一个高效稳定的Hadoop集群。 Hadoop是由Apache基金会开发的一个开源项目，其核心包括两个主要组件：Hadoop Distributed File ...
Hadoop——实验三：Hadoop集群安装部署
maochaofei的博客
06-14 2846
文章目录一. 实验目的二. 实验内容三. 实验步骤及结果分析 1. 安装Hadoop集群 1.1 网络配置 1.2 SSH无密码登录配置 1.3 集群分布式环境配置 1.4 配置文件传输至节点 1.5 启动Hadoop集群 2. 完成分布式实例 2.1 在HDFS上创建用户目录 2.2 运行MapReduce作业分布式实例 一. 实验目的   掌握Hadoop集群集群安装部署技术。 二. 实验内容   参考：http://dblab.xmu.edu.cn/blog/install-hadoop-cluste
Hadoop集群搭建共10页.pdf.zip
10-28
通常，搭建Hadoop集群涉及多个环节，包括硬件选择、操作系统配置、Hadoop组件安装、网络设置、安全性考量等。这10页内容可能会提供快速入门的指导，适合初学者或希望快速了解Hadoop集群部署的读者。 【标签】...
hadoop3.1.3集群搭建(ha+yarn)
01-07
当前环境： centos6.5,jdk8 准备工作： 1.服务器之间免密登录 ...3.安装zookeeper集群 搭建步骤： 1.下载apache hadoop3.1.3并上传至服务器解压 https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.3/ha
hadoop的集群模式
狼与自由
02-10 730
hadoop的集群模式大概有以下几种 1.本地 2.伪分布式 3.完全分布式 4.HA 模式 本地 在单机上运行，读取本地文件系统 伪分布式 在单机上运行 使用分布式文件系统 单机上启动nameNode、dataNode、secondary nameNode 集群只有一个节点，因此副本为1 完全分布式 在多台机器上运行 nameNode、dataNode、secondary nameNode 在不同机器上启动 集群有多个节点，副本不唯一 缺点：非高可用 HA 模式 相比完全分布式，主要体现在高可用
Hadoop大数据集群搭建（超详细）
最新发布
小飞飞V5的博客
05-21 3万+
本文主要介绍了Hadoop集群的搭建过程，图文详细，适合新手入门
Hadoop分布式集群搭建（HA）（爬坑成功！）
qq_41794285的博客
06-18 401
Hadoop分布式集群搭建（HA） 1.准备四台虚拟机（我用的是vbox安装的centos7） 2.安装jdk并配置环境变量 3.使用xshell+xftp上传hadoop-2.7.3文件到Linux系统下，拷贝四份到虚拟机上，或配置免密登录发送文件过去,注意虚拟机之间最好配好彼此免密通信 4.我的四台ip为: 首先修改每台主机名称： vi /etc/hosts ...
Hadoop HA 模式搭建（高可用）
绿萝蔓蔓绕枝生
09-08 599
1、集群配置完成 配置步骤详情请见：hadoop集群搭建 2、时序同步及 zookeeper 配置完成 配置步骤详情请见：zookeeper安装配置及时间同步 3、修改core-site.xml文件 <configuration> <!-- 指定hdfs的命名空间nameservice为ns --> <property> <name>fs.defaultFS</name> <value>
hadoop集群HA模式搭建
yyaijunji的博客
03-20 378
hadoop集群HA模式搭建 角色\服务器 node01 node02 node03 node04 namenode √ secondarynamenode √ datanode √ √ √ 一、环境准备 准备4台服务器，node01\node02\node03\node04 node01能免密登录其他3台服务器 二、应用搭建 修改hadoop的配置文件 core-site.xml配置修改，地址参见 <property> <name&g
Hadoop-HA模式的搭建(手把手教，超细)
qq_56893858的博客
11-19 1901
参考的Hadoop官网 具有QJM的NameNode HA_Hadoop 中文网https://hadoop.org.cn/docs/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html从我完全分布式过来的同学，现在已经有了四台搭建了完全分布式的四台虚拟机 如果没有看过，请参照下文搭建！我们接下来的HA(高可用模式)是基于我们完全分布式的补充 (32条消息) hadoop完全分布式搭建（手把手教，超细）_迫壳的博客-CSDN博
Hadoop高可用模式 集群搭建与管理（一)
路西法的博客
08-29 551
目录 1 简介.. 1 1.1 单机模式：Single Node Cluster1 1.2 完全分布式模式：Full Distributed Cluster1 1.3 高可用模式：HA Cluster2 1.4 高可用联邦模式：HA + Federation Cluster2 2 目的.. 3 2.1 NameNode HA.. 3 2.2 ResourceManager
Hadoop完全集群模式的安装与使用
领导的博客
03-14 294
一、先创建可克隆的基础虚拟机hadoop1 1、修改hosts和hostname 2、安装并配置ssh 3、配置ssh root登录 4、安装并配置hadoop和jdk 传输工具： 链接：https://pan.baidu.com/s/1WaxdF9zDs3_HaLIQAO9RKQ 提取码：7yom Linux版 jdk和hadoop： 链接：https://pan.baidu.com/s/14B...
Hadoop伪分布式与集群式安装配置
zhaogezhuoyuezhao的专栏
12-24 6864
http://www.cnblogs.com/yedezhanghao/archive/2012/07/29/2614182.html 配置环境                           配置前的说明 部署伪分布式与集群式Hadoop的绝大部分操作都是一样的，细节上区别在于集群式是在两台机子上部署的，两台机子都要执行下列操作，而伪分布式都是在一台机子上操作，以下全部操作如没有特别说
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值