Hadoop QJM HA

最新推荐文章于 2024-06-24 20:15:40 发布
最新推荐文章于 2024-06-24 20:15:40 发布
阅读量165 收藏
点赞数
分类专栏： 大数据 文章标签： hadoop ha QJM zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wanghuan524/article/details/103101746
版权

Hadoop 部署模式

集群环境介绍

CentOS release 6.4 (Final)
jdk 1.7.0_67 （默认已安装）

hadoop 拓扑划分(3节点)：

192.168.2.53192.168.2.54192.168.2.55
NameNodeNameNode
DataNodeDataNodeDataNode
NodeManagerNodeManagerNodeManager
ResourceManagerResourceManagerResourceManager
JournalNodeJournalNodeJournalNode
ZKFCZKFC

/etc/hosts 文件配置如下 ;

iphostname
192.168.2.53hadoopnode1
192.168.2.54hadoopnode2
192.168.2.55hadoopnode3

**/opt/app/hadoop-2.5.0/etc/hadoop/hadoop-env.sh ** 配置JavaHome

Local（StandAlone）单机模式 hadoopnode1

安装目录为： /opt/app

//从apache 官网下载hadoop,这里选择2.5.0版本
// 解压安装包到指定目录
2. tar -zxvf  hadoop-2.5.0.tar.gz -C /opt/app
// 创建input目录用于存储输入数据文件
3. mkdir input
// 运行hadoop jar 命令
// 将input文件下面的文件中包含 'dfs[a-z.]+' 的字符串给输出到output 文件夹中
4. bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar grep input output 'dfs[a-z.]+'
// 计算结果在/opt/app/hadoop-2.5.0/output目录下 , _SUCCESS为结果校验文件
5. cat /opt/app/hadoop-2.5.0/output/part-r-00000

命令解释

bin/hadoop hadoop 命令
jar 这个命令在jar包里面
share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar 具体位置
grep grep 函数
input grep 函数的目标文件夹
output grep 函数结果的输出文件夹
‘dfs[a-z.]+’ grep 函数的匹配正则条件

伪分布式模式（hadoopnode1）

etc/hadoop/core-site.xml 配置

    // 默认HDFS的老大 namenode的地址与通信端口 
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

etc/hadoop/hdfs-site.xml 配置

    // HDFS的每个Block的副本数 
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

本地运行Mapreduce Job

格式化namenode ,一般配置在core-site.xml 中 hadoop.tmp.dir属性，也可以单独配置dfs.namenode.name.dir 存放fsimage 和edits

  1. bin/hdfs namenode -format
    在上述配置dir下初始化生成fsimage文件 ，edits文件会在hdfs启动之后生成

  2. sbin/start-dfs.sh
    启动 NameNode daemon and DataNode daemon and SecondaryNameNode

  3. http://hadoopnode1:50070/ 通过web 访问hdfs namenode 情况

  4. bin/hdfs dfs -mkdir input
    bin/hdfs dfs -put etc/hadoop/*.xml input
    hdfs上创建input目录，作为mapreduce输入数据
    5.bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input /output
    /input ： wordcount 数据文件
    /output ： wordcount 结果输出文件 （不能事先存在）

  5. bin/hdfs dfs -cat output/*
    查看生成wordcount结果

  6. sbin/stop-dfs.sh
    停止hdfs相关服务3个 （namenode、datanode、SecondNameNode）

Run Mapreduce Job On Yarn

  1. etc/hadoop/mapred-site.xml:
    指定mapreduce job运行在yran上
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
  1. etc/hadoop/mapred-site.xml:
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
  1. etc/hadoop/yarn-site.xml:
// map reduce 中间过程的算法
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
  1. sbin/start-yarn.sh
    启动 Node daemon and DataNode daemon and SecondaryNameNode
  2. http://hadoopnode1:8088/ 主机名+端口号
    通过web 接口 观察ResourceManager状态
  3. bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input /output
  4. sbin/stop-yarn.sh
    停止yarn相关服务2个 （ResourceManager、NodeManager）

完全分布式模式（HA 三个节点）

1. hdfs-site.xml配置

    // nameservices 名称
    <property>
	  <name>dfs.nameservices</name>
	  <value>ns1</value>
	</property>
	// nameservice 中 namenode 名称
	<property>
	  <name>dfs.ha.namenodes.ns1</name>
	  <value>nn1,nn2</value>
	</property>
	// nn1所在节点的名称和通信端口号
	<property>
	  <name>dfs.namenode.rpc-address.ns1.nn1</name>
	  <value>hadoopnode1:8020</value>
	</property>
	// nn2所在节点的名称和通信端口号
	<property>
	  <name>dfs.namenode.rpc-address.ns1.nn2</name>
	  <value>hadoopnode2:8020</value>
	</property>
	// Namenode WEB HTTP SERVER address
	<property>
	  <name>dfs.namenode.http-address.ns1.nn1</name>
	  <value>hadoopnode1:50070</value>
	</property>
	// Namenode WEB HTTP SERVER address
	<property>
	  <name>dfs.namenode.http-address.ns1.nn2</name>
	  <value>hadoopnode2:50070</value>
	</property>
	// NAMENODE SHARED EDITS  , journalnode 服务所在主机
	<property>
	  <name>dfs.namenode.shared.edits.dir</name>
      <value>qjournal://hadoopnode1:8485;hadoopnode2:8485;hadoopnode3:8485/ns1</value>
	</property>
    // HDFS PROXY CLIENT 
	<property>
	  <name>dfs.client.failover.proxy.provider.ns1</name>
	  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
	</property>
	//  同一时刻只有一个namenode是active ， 提供服务。隔离namenode的机制 SSh and shell  ，所有机制依次执行，只要有一个返回执行成功就停止
	<property>
      <name>dfs.ha.fencing.methods</name>
      <value>sshfence</value>
    </property> 
    // 保障namenode所在的主机之间能够无密SSH登录
    <property>
      <name>dfs.ha.fencing.ssh.private-key-files</name>
      <value>/home/hadoop/.ssh/id_rsa</value>
    </property>

2. core-site.xml配置

   // 默认HDFS CLUSTER 集群名称
   <property>
        <name>fs.defaultFS</name>
        <value>hdfs://ns1</value>
    </property>
	// hdfs 临时文件存放路径，若没有指定namenode  datanode路径，也存放在该路径下
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/app/hadoop-2.5.0/data/tmp</value> 
	</property>
	 <!--
	    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/opt/app/hadoop-2.5.0/data/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/opt/app/hadoop-2.5.0/data/dfs/data</value>
    </property>
	-->
	// journalnode 共享编辑日志存放路径
	<property>
		 <name>dfs.journalnode.edits.dir</name>
		 <value>/opt/app/hadoop-2.5.0/data/dfs/jn</value>
	</property>

3. QJM （分布式日志管理）HA 启动

需要先将core-site.xml 、hdfs-site.xml 、slaves 三个配置文件同步拷贝至其他节点，在进行接下来的操作

1. 启动各个节点上的journalnode 服务
	sbin/hadoop-daemon.sh start journalnode
2. 选择一台namenode ，默认选择nn1，进行格式化并启动
     1. bin/hdfs namenode -format
     2. sbin/hadoop-daemon.sh start namenode
3. 选择另外一台namenode ，默认选择nn2，同步nn1的元数据信息
     1. bin/hdfs namenode -bootstrapStandby
4. 启动nn2
     1. sbin/hadoop-daemon.sh start namenode
5. 将nn1 状态由Standby切换为Active
     1. bin/hdfs haadmin -transitionToActive nn1
6. 启动所有节点的datanode服务
     1. sbin/hadoop-daemon.sh start datanode

  1. HA 测试

    1. HDFS 上传下载文件

      // hdfs 上创建目录
1. bin/hdfs dfs -mkdir -p /user/hadoop/conf
// 上传文件到hdfs
2. bin/hdfs dfs -put etc/hadoop/core-site.xml etc/hadoop/hdfs-site.xml /user/hadoop/conf
// 查看上传的文件是否可读
3. bin/hdfs dfs -text /user/hadoop/conf/core-site.xml
	```

    2. NameNode HA 测试（故障转移手动切换）

      // nn1 active --> Standby
1. bin/hdfs haadmin -transitionToStandby nn1
// nn2 Standby --> active 
2. bin/hdfs haadmin -transitionToActive nn2

      // 分别从两个namenode节点的50070 端口 web 查看
      Standby NodeActive Node

4. QJM HA 故障自动转移

ZooKeeper Cluster 部署

1. hdfs-site.xml 配置
   	 //借助于 ZooKeeper 自动故障转移
   	 <property>
	   <name>dfs.ha.automatic-failover.enabled</name>
	   <value>true</value>
	 </property>
2. core-site.xml 配置
   	 // ZooKeeper 集群地址
	 <property>
	   <name>ha.zookeeper.quorum</name>
	   <value>hadoopnode1:2181,hadoopnode2:2181,hadoopnode3:2181</value>
	 </property>
3. 启动测试
// 关停HDFS集群
1.sbin/stop-dfs.sh
// 同步配置文件至其他节点
2. scp etc/hadoop/core-site.xml etc/hadoop/hdfs-site.xml hadoop@hadoopnode2:/opt/app/hadoop-2.5.0/etc/hadoop/ hadoop@hadoopnode3:/opt/app/hadoop-2.5.0/etc/hadoop/
// 启动Zookeeper集群
3. bin/zkServer.sh start 
// 在Zookeeper上 初始化HA State  ， 生成znode
4.bin/hdfs zkfc -formatZK
//  启动HDFS集群
5. sbin/start-dfs.sh
// 将active node kill ， 测试故障是否转移
6. kill -9 9999
// 将kill 的node 单独启动，测试node 状态
7. sbin/hadoop-daemon.sh start namenode

Zookeeper集群DOWN ，不会影响hdfs 的服务，会影响hdfs故障的自动转移

wanghuan524
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用QJM方式实现hadoop中的HA
想~ai抽
03-13 1643
好吧。。。我是文档控。。翻译了官网。。。。总觉得读官网才有原味。 HDFS 使用Quorum JournalManager实现高可用性(HA) HDFS High Availability Using the Quorum Journal Manager Purpose Note: Using the Quorum Journal Manager or Conventi
hadoop记录篇2-namenode高可用（HA）之QJM+NFS
weixin_30446197的博客
10-21 270
一 。QJM简介和原理 hadoop集群环境 namenode元数据保存在一台机器中 存在单点故障 传统的高可用解决方案 至少有一台从机 用于备份主机数据，同一时间只有主机 对外提供服务，如果主机宕机 从机能够自动接管主机服务，从机为了同步主机的数据 必须定期同步主机的edits日志 但是如果主机宕机 edits日志必定 无法读取 此时产生了新的组件J...
HADOOP-QJM原理
breakout_alex的博客
03-05 5922
一.背景 在QJM出现之前，为保障集群的HA，设计的是一种基于NAS的共享存储机制，即主备NameNode间通过NAS进行元数据的同步。该方案有什么缺点呢，主要有以下几点： 定制化硬件设备：必须是支持NAS的设备才能满足需求 复杂化部署过程：在部署好NameNode后，还必须额外配置NFS挂载、定制隔离脚本，部署易出错 简陋化NFS客户端：Bug多，部署配置易出错，导致HA不可用 所以对于...
hadoop2.7.3 ha 环境部署——QJM
archer的技术故事
12-07 1458
hadoop2.7.3 ha 环境部署——QJM 在部署完federal 集群之后（http://blog.csdn.net/wild46cat/article/details/53423472），再尝试部署ha集群。     ha是high availability的缩写。hadoop ha 集群解决了原来单个namenode出现故障后，整个集群需要其他节点中已经配置的secondaryna
大数据Hadoop之——Hadoop 3.3.4 HA（高可用）原理与实现（QJM）
匠人精神，持之以恒！
08-20 2775
在 Hadoop 2.0.0 之前，一个集群只有一个Namenode，这将面临单点故障问题。如果 Namenode 机器挂掉了，整个集群就用不了了。只有重启 Namenode ，才能恢复集群。另外正常计划维护集群的时候，还必须先停用整个集群，这样没办法达到 7 * 24小时可用状态。Hadoop 2.0 及之后版本增加了 Namenode 高可用机制，下面详细介绍。
hadoop-ha集群搭建
大数据同盟会的博客
08-20 940
HDFS使用QJM实现HA集群
Hadoop HA部署(QJM)
夜的博客
04-08 584
准备 三台Linux虚拟机(这里是centos7.5，我将其分别命名为hadoop001、hadoop002、hadoop003) jdk1.8.0_151 hadoop-2.6.0-cdh5.7.0 zookeeper-3.4.6 创建hadoop用户 在三虚拟机上创建hadoop用户： systemctl stop firewalld.s...
Hadoop HA原理
shan19920501的博客
05-22 1173
Hadoop HA
Hadoop HA(QJM)高可集群性配置
09-22
基于Journnode的Hadoop Master节点主备自动切换。
hadoop_HA版本的配置
04-11
在本文中，我们将详细讨论如何配置Hadoop HA版本，特别是使用Quorum Journal Manager (QJM) 实现HDFS的HA。 首先，我们需要理解Hadoop HA的基本架构。Hadoop HA主要涉及两个关键组件：NameNode和ResourceManager。...
Hadoop-2.0-NameNode-HA和Federation实践1
08-08
在Hadoop 2.0中，NameNode的High Availability（HA）和Federation是为了解决传统Hadoop架构中的两个关键问题：单点故障和集群扩展性。在Hadoop 2.0之前，NameNode作为HDFS的核心组件，它的单点故障可能导致整个...
hadoop搭建.docx
11-26
在Hadoop 2.0中，有两种实现HDFS HA的方法：NFS和Quorum Journal Manager(QJM)。QJM更常用，因为它无需额外的硬件支持。在QJM方案中，NameNode通过JournalNode集群同步元数据，多数JournalNode确认即视为写入成功。...
计算机毕业设计hadoop+spark+hive游戏推荐系统 游戏数据分析可视化大屏 steam游戏爬虫 游戏大数据 大数据毕业设计 机器学习 知识图谱
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
06-21 392
计算机毕业设计hadoop+spark+hive游戏推荐系统 游戏数据分析可视化大屏 steam游戏爬虫 游戏大数据 大数据毕业设计 机器学习 知识图谱
Hadoop 2.0 大家族（二）
Morse_Chen的博客
06-21 1240
本文讲解Hadoop2.0大家族，介绍Hbase和Pig。
Hadoop3：MapReduce中Reduce阶段自定义OutputFormat逻辑
Brave_heart4pzj的博客
06-21 517
Hadoop
项目实践---Windows11中安装Zookeeper3.5.5/Hadoop2.7.2/Hive2.3.7
qq_40623672的博客
06-21 264
Windows环境Hadoop2.7.2 + Hive2.3.7版本的环境搭建
常用框架-Zookeeper
最新发布
Roc的博客
06-24 133
ZAB（ZooKeeper Atomic Broadcast）协议是ZooKeeper为保证数据一致性而设计的一种协议。ZAB协议主要用于在ZooKeeper集群的所有服务器之间复制数据，确保每个服务器存储的数据副本都是一致的。ZAB协议保证了当一个Leader被选举出来后，集群中的所有事务都按照其发生的顺序被原子性地广播和应用。恢复模式（ Recovery Mode）：当新的Leader被选举出来，或者集群在启动时，进入恢复模式，以确保集群中所有服务器的数据状态达到一致。
ELK+Filebeat+kafka+zookeeper构建海量日志分析平台
2301_76774698的博客
06-21 1145
ELK 是ElasticSearch开源生态中提供的一套完整日志收集、分析以及展示的解决方案，是三个产品的首字母缩写，分别是ElasticSearch、Logstash 和 Kibana。除此之外，FileBeat也是目前使用较多的日志收集软件，相对于Logstash更加轻量级占用资源更少。ElasticSearch ，它是一个近实时（NRT）的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析。
Hadoop搭建HA
09-06
要搭建Hadoop的高可用（HA）环境，你需要考虑以下几个步骤： 1. 配置Hadoop集群：确保你已经成功地设置了一个Hadoop集群，并且所有节点都能够正常通信。 2. 配置ZooKeeper：HA模式下，Hadoop使用ZooKeeper来进行主...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值