Hadoop高可用集群搭建

最新推荐文章于 2022-02-15 23:28:16 发布
最新推荐文章于 2022-02-15 23:28:16 发布
阅读量184 收藏
点赞数
分类专栏： 软件安装和环境变量设置 Hadoop 文章标签： hadoop 大数据 hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/May_J_Oldhu/article/details/108474898
版权

搭建hadoop-HA模式

一.前提条件

1.在搭建hadoop-HA模式前需要构建hadoop集群、设置好时区以及配置好zookeeper

官方地址：http://hadoop.apache.org/
详情可参考：（1）hadoop集群搭建
（2）设置集群时区及Zookeeper安装及环境配置
注：一定要确保都开启成功，在进行一下操作

2.集群架构表

主机名IPNameNodeResourceManagezkfcDataNodeNodeManagerJournalnodezookeeperJobHistory
hadoop001（主节点）192.168.36.32√√√√√√√
hadoop002192.168.36.34√√√√√√√
hadoop003192.168.36.35√√√√√

二.修改配置文件

先在主节点机器上进行配置，其他使用远程传输
先进入目录cd /opt/hadoop/etc/hadoop

1.修改core-site.xml文件

vi core-site.xml
在<configuration></configuration>里添加一下配置文件

<!--把两个NameNode）的地址组装成一个集群ns-->
  <property>
     <name>fs.defaultFS</name>
     <value>hdfs://ns</value>
  </property>
<!-- 指定使用hadoop产生文件的存放目录-->
  <property>
     <name>hadoop.tmp.dir</name>
     <value>/opt/hadoop/tmp</value>
  </property>
<!-- 指定zookeeper地址 -->
<property>
    <name>ha.zookeeper.quorum</name>
    <value>hadoop001:2181,hadoop002:2181,hadoop003:2181</value>
  </property>

  <property>
     <name>hadoop.proxyuser.root.hosts</name>
     <value>*</value>
  </property>
  <property>
     <name>hadoop.proxyuser.root.groups</name>
     <value>*</value>
  </property>

  <property>
     <name>hadoop.native.lib</name>
     <value>false</value>
     <description>Should native hadoop libraries, if present, be used.
     </description>
  </property>

PS:即在之前集群搭建好的基础上修改一下，并且添加一个指定zookeeper地址
ns代表：namespace

<!-- 把两个NameNode）的地址组装成一个集群ns-->
  <property>
     <name>fs.defaultFS</name>
     <value>hdfs://ns</value>
  </property>
  
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>hadoop001:2181,hadoop002:2181,hadoop003:2181</value>
  </property>

2.修改hdfs-site.xml文件

vi hdfs-site.xml
在<configuration></configuration>里添加一下配置文件

<!-- 设置HDFS文件副本数 -->
<!-- 节点数，ha中可不配置 -->
<!--
    <property>
      <name>dfs.replication</name>
      <value>3</value>
    </property>
-->
<!--完全分布式集群名称，指定hdfs的nameservice为ns，需要和core-site.xml中的保持一致 -->
  <property>
    <name>dfs.nameservices</name>
    <value>ns</value>
  </property>

  <!-- ns下面有两个NameNode，分别是hadoop001，hadoop002 -->
  <property>
    <name>dfs.ha.namenodes.ns</name>
    <value>hadoop001,hadoop002</value>
  </property>

  <!-- hadoop001的RPC通信地址 -->
  <property>
    <name>dfs.namenode.rpc-address.ns.hadoop001</name>
    <value>hadoop001:9000</value>
  </property>
  <!-- hadoop001的http通信地址 -->
  <property>
    <name>dfs.namenode.http-address.ns.hadoop001</name>
    <value>hadoop001:50070</value>
  </property>
  <!-- hadoop002的RPC通信地址 -->
  <property>
    <name>dfs.namenode.rpc-address.ns.hadoop002</name>
    <value>hadoop002:9000</value>
  </property>
  <!-- hadoop002的http通信地址 -->
  <property>
    <name>dfs.namenode.http-address.ns.hadoop002</name>
    <value>hadoop002:50070</value>
  </property>
 <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://hadoop001:8485;hadoop002:8485;hadoop003:8485/ns</value>
  </property>
  <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/opt/hadoop/tmp/journal</value>
  </property>
  <!-- 开启NameNode失败自动切换 -->
  <property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
  </property>
  <!-- 配置失败自动切换实现方式 -->
  <property>
    <name>dfs.client.failover.proxy.provider.ns</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>
  <!-- 配置隔离机制方法，即同一时刻只能有一台服务器对外响应，多个机制用换行分割，即每个机制暂用一行-->
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>
      sshfence
      shell(/bin/true)
    </value>
  </property>
  <!-- 配置sshfence隔离机制超时时间 -->
  <property>
    <name>dfs.ha.fencing.ssh.connect-timeout</name>
    <value>30000</value>
  </property>
  <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
  </property>
<!--当使用HA配置集群，则不需要secondary.hhtp-address
    <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>192.168.36.34:50090</value>
    </property>
-->

注：（1）在HA模式下节点数可以不配置，可注销

<!-- 节点数，ha中可不配置 -->
<!--
    <property>
      <name>dfs.replication</name>
      <value>3</value>
    </property>
-->

（2）secondary namenode也需要注释掉，其他进行添加

<!--当使用HA配置集群，则不需要secondary.hhtp-address
    <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>192.168.36.34:50090</value>
    </property>
-->

3.修改yarn-site.xml文件

vi yarn-site.xml
在<configuration></configuration>里添加一下配置文件

<!-- Site specific YARN configuration properties -->
<!--
<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop001</value>
    </property>
-->
 <!-- 开启RM高可用 -->    <!-- RM 代指 resource manager -->
  <property>
    <name>yarn.resourcemanager.ha.enabled</name>
    <value>true</value>
  </property>
  <!-- 指定RM的cluster id -->
  <property>
    <name>yarn.resourcemanager.cluster-id</name>
    <value>cluster_id</value>
  </property>
  <!-- 指定RM的名字 -->
  <property>
    <name>yarn.resourcemanager.ha.rm-ids</name>
    <value>rm1,rm2</value>
  </property>
  <!-- 分别指定RM的地址 -->
  <property>
    <name>yarn.resourcemanager.hostname.rm1</name>
    <value>hadoop001</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname.rm2</name>
    <value>hadoop002</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address.rm1</name>
    <value>hadoop001:8088</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address.rm2</name>
    <value>hadoop002:8088</value>
  </property>
 <!-- 指定zk集群地址 -->
  <property>
    <name>yarn.resourcemanager.zk-address</name>
    <value>hadoop001:2181,hadoop002:2181,hadoop002:2181</value>
  </property>
<!--namenodeManager获取数据的方式是shuffle-->
 <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
 </property>
<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
 <!--Yarn打印工作日志-->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

注：三个文件仔细确保修改正确，mapred-site.xml无需修改

4.远程发送配置文件

将主节点机器上配置好的文件远程发送给其他两台虚拟机上
先确保在cd /opt/hadoop/etc/hadoop这个目录下再执行以下命令

scp core-site.xml hadoop002:$PWD
scp core-site.xml hadoop003:$PWD
scp hdfs-site.xml hadoop002:$PWD
scp hdfs-site.xml hadoop003:$PWD
scp yarn-site.xml hadoop002:$PWD
scp yarn-site.xml hadoop003:$PWD

三.进行启动

1.前提

（1）确保所有服务已经停止：stop-all.sh
（2）在目录cd /opt/hadoop
（3）删除logs和tmp目录：

rm -rf logs/
rm -rf tmp/

注：以上操作确保三台虚拟机都已完成

2.先启动journalnode

在主节点机器上输入以下命令就行，但三台虚拟机都要进行jps检查，是否都启动了；如果没有，在每一台虚拟机都进行以下命令来启动

hadoop-daemons.sh start journalnode

在这里插入图片描述

3.进行格式化

hadoop namenode -format

在这里插入图片描述
格式化成功则显示status=0
未成功案例：（1）hdfs-site.xml文件配置有误
在这里插入图片描述
根据fatal error提示进行文件修改
注意：修改文件不要忘记将修改后的文件再次远程传输到另外两台机器上，并删除logs和tmp目录
（2）如果你未先启动journalnode，直接格式化的话会出现以下报错，所以需先确保journalnode启动成功
在这里插入图片描述

4.复制tmp文件夹

把主节点新生成的tmp文件夹复制到备用节点

[root@hadoop001 hadoop]# scp -r tmp hadoop002:$PWD

在这里插入图片描述

5.启动

（1）启动zookeeper（三台都需要输入以下命令）

zkServer.sh start

（2）启动hadoop集群（在主节点机器上输入以下命令）

start-all.sh

（3）在备用节点上启动resource manager

yarn-daemon.sh start resourcemanager

（4）启动zkfc

在主节点上格式化zkfc（hadoop001）

hdfs zkfc -formatZK

在主节点和备用节点启动zkfc（hadoop001和hadoop002）

 hadoop-daemon.sh start zkfc

（5）启动jobhistory
在虚拟机（hadoop003）上开启

mr-jobhistory-daemon.sh start historyserver

三台虚拟机的开启的服务如下
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

May--J--Oldhu
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop——高可用（High Available，HA）模式与联邦机制（Federation）启蒙
Stay Hungry Stay Foolish
02-24 1108
虽说主从结构相对简单，但是公司中不会采用这种简单的主从结构，因为这会带来两个严重问题 若主节点发生故障，即单点故障，会造成整个集群不可用 主节点内存受限，压力过大 这是两个独立的问题，业内对于这两个问题给出了不同的解决方案，下面具体说明 Hadoop—高可用解决方案（HA） 所谓Hadoop高可用（HA）实际上就是配置多个Namenode，一个作为主机(Active)，其他作为备机(Stand...
Hadoop的高可用搭建
kailzhu的博客
06-22 295
Hadoop的高可用搭建1、虚拟机和组件的获取和选择1.1、虚拟机1.2、版本选择1.3 、架包下载二级目录三级目录 1、虚拟机和组件的获取和选择 1.1、虚拟机 参数 值 说明 虚拟机名称 nn,dn1,dn2 19.168.229.[150/151/152] 虚拟机个数 3台 个数最少3个，且最好为奇数 内存 20G/4G 主节点20G子节点4G 磁盘 300G 三台相同 系统 CentOS-7-x86_64-DVD-1708.iso 三台相同 之前搭建CDH，因此沿
Hadoop HA 高可用集群的搭建
weixin_30570101的博客
03-06 181
hadoop部署服务器 系统 主机名 IP centos6.9 hadoop01 192.168.72.21 centos6.9 hadoop02 192.168.72.22 centos6.9 hadoop03 192.168.72.23 基础环境准备 1.修改Linux主机名 2.修改IP 3.修改主机名和IP的映...
【干货】Apache Hadoop 2.8 完全分布式集群搭建超详细过程，实现NameNode HA、ResourceManager HA高可靠性...
weixin_34256074的博客
05-02 210
最近在自己的笔记本电脑上搭建了Apache Hadoop分布式集群，采用了最新的稳定版本2.8，并配置了NameNode、ResourceManager的HA高可用，方便日常对Hadoop的研究与测试工作。详细的搭建过程如下： 1、安装docker，创建docker容器，用于搭建hadoop节点 docker真是个好东西啊，当要在自己的笔记本上搭建分布式...
搭建高可用hadoop集群
weixin_39511658的博客
09-06 278
环境说明： red-hat 6.7 hadoop-2.7.3 zookeeper-3.4.9 jdk1.8.0_131 备注：我将所有需要的包，都放置在/usr/local/路径下了 本次环境搭建的机器总共为3台 192.168.40.140 hd1   主节点 192.168.40.141 hd2   主备节点 192.168.40.142 hd3   从节点 若集群安装成功
hadoop高可用集群搭建手册.docx
04-17
Hadoop高可用集群搭建手册 本文档主要介绍了Hadoop 2.6高可用集群的搭建过程，包括集群规划、搭建准备、集群搭建和配置等步骤。下面是从中提取的知识点： 1. 集群规划 在规划Hadoop集群时，需要考虑到集群的拓扑...
基于 ZooKeeper 搭建 Hadoop 高可用集群 的教程图解
09-29
Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多，所以它的实现也更加复杂，下面给大家详细...
基于Zookeeper搭建Hadoop高可用集群
最新发布
06-15
基于 Zookeeper 搭建 Hadoop 高可用集群 基于 Zookeeper 搭建 Hadoop 高可用集群是指使用 Zookeeper 实现 Hadoop 集群的高可用性，确保 Hadoop 集群的可靠性和稳定性。高可用性是指系统在面临故障或错误时仍能继续...
Hadoop HA高可用集群搭建详细过程(亲测四台有效）
qq_43532434的博客
06-17 5411
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
Hadoop高可用集群搭建(实操、干货)
跳蛙pass的博客
07-07 491
Hadoop 一、HDFS-HA 集群配置 1.1 配置 HDFS-HA 集群 1.官方地址：http://hadoop.apache.org/ 2.HDFS 高可用集群规划，请保证 Hadoop 完全分布式和 ZooKeeper 完全分布 式环境已经安装完成。 hadoop102 hadoop103 JournalNode JournalNode 3.在 hadoop102 配置 core-site.xml <configuration> <!-- 把两个 N
hadoop-3.2.2高可用集群搭建
桃李不言的博客
05-18 787
规划原则： ➢ NameNode 和 SecondaryNameNode 不要安装在同⼀台服务器 ➢ ResourceManager 也很消耗内存,不要和 NameNode、SecondaryNameNode 配置在同⼀台服务器 master slave1 slave2 hdfs namenode namenode datanode datanode datanode yarn datanode datanode datanode nodemanager nodemana
疯狂Hadoop之高可用集群搭建（二）
qianfeng_dashuju的博客
07-13 183
Hadoop3集群高可用搭建 HDFS-HA概述 1）所谓HA（high available），即高可用（7*24小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的 HA机制：HDFS的HA和YARN的HA。 3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。 4）NameNode主要在以下两个方面影响HDFS集群 NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启 NameNode机器需要升级，包
第四章 搭建Hadoop高可用集群（HA）
开朗小哥的博客
02-15 1998
系列文章： 第一章 Hadoop集群搭建的准备 第二章 Hadoop集群搭建 第三章 Zookeeper分布式集群部署（2n+1台虚拟机） 第四章 Hadoop高可用集群搭建（HA） 待更新 文章目录前言一、搭建普通Hadoop集群，设三台主机名为node1，node2，node3。二、Hadoop集群配置1.配置Hadoop集群的配置文件（配置文件都保存在/export/servers/hadoop-2.7.4/etc/hadoop目录下）（1）配置Hadoop集群主节点（这里将node1作为主节点） 
hadoop分布集群搭建
风中云彩的博客
08-28 550
主机名 IP Itcast 132 namenode zkfc Itcast02 138 datanode nodemanager zookeeper journalenode itcast03 130 datanode nodemanager zookeeper journalenode Itcast04 139
Hadoop集群的高可用-HA
汤小萌的博客
12-05 2206
HDFS的高可用： 需求： 我们之前搭建的hadoop集群是一个NameNode和三个DateNode 原先那套机制： FSNameSystem 元数据对内存的管理器，里面管理的数据都在内存里面，但是在内存里面的数据不太可靠，所以有一个 fsimage 做持久化操作，更新的操作是在edits里面，当一个客户端做数据的操作的时候，导致元数据要发生变化，先把操作记录在日志里面，如果操作成功了，就再记...
【亲测】Hadoop 高可用集群搭建 与 开发环境部署
热门推荐
Create value with coding
11-23 1万+
每一次 Hadoop 生态的更新都是如此令人激动 像是 hadoop3x 精简了内核，spark3 在调用 R 语言的 UDF 方面，速度提升了 40 倍 所以该文章肯定得配备上最新的生态 hadoop 生态简介 期待目标 环境 OS ： CentOS 7.4 组件： Hadoop 3x 及生态 Yarn Mapreduce HDFS Zookeeper 3.6.3 可选项 Hive Flume 1.9 Sqoop 2 kafka 2x Spark 3x RD.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值