hadoop HA机制

最新推荐文章于 2022-08-20 11:29:46 发布
最新推荐文章于 2022-08-20 11:29:46 发布
阅读量220 收藏 2
点赞数
分类专栏： Hadoop 文章标签： HA 高可用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36643786/article/details/84932367
版权
本文介绍了Hadoop HA机制，包括背景、HA概念，以及如何配置HA集群，包括基础配置、HDFS和YARN的HA设置。通过双NameNode消除单点故障，结合JournalNode和Zookeeper实现故障转移，确保Hadoop集群的高可用性。
摘要由CSDN通过智能技术生成

HADOOP HA机制

文章目录

回顾：
今天任务
1.什么是HA
2.HA的实现场景
3.配置HA环境
教学目标
1.理解HA的机制
2.掌握HA环境的配置流程
第一节：HADOOP HA概述
1.1 背景

​ 在Hadoop 2.0.0之前，NameNode是HDFS集群中的单点故障（SPOF）。每个群集都有一个NameNode，如果该机器或进程不可用，整个群集将不可用，直到NameNode重新启动或在单独的计算机上启动为止。这在两个主要方面影响了HDFS集群的总体可用性：

  • 在计划外事件（例如机器崩溃）的情况下，直到操作员重新启动NameNode后，群集才可用。
  • 计划的维护事件（如NameNode计算机上的软件或硬件升级）将导致群集停机时间窗口。

HDFS高可用性功能通过提供在具有热备用的主动/被动配置中的同一群集中运行两个（以及3.0.0多于两个）冗余NameNode的选项来解决上述问题。这允许在计算机崩溃的情况下快速故障转移到新的NameNode，或者为计划维护目的而进行正常的管理员启动的故障转移。

1.2 HA(High Available)概念

  • hadoop-HA集群运作机制介绍

    所谓HA，即高可用（7*24小时不中断服务）(secondarynamenode只是保证了“可靠性”)实现高可用最关键的是消除单点故障，hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA。

  • HDFS的HA机制详解

    通过双namenode消除单点故障，双namenode协调工作的要点：

    • 元数据管理方式需要改变
    • 需要一个状态管理功能模块
第二节 HA集群配置
2.1 基础配置

  • 创建7台机器，设置静态ip分别如下：

    | 机器名                        | ip             |
| ----------------------------- | -------------- |
| CentOs6.4_min_java_hadoop_ha1 | 192.168.18.171 |
| CentOs6.4_min_java_hadoop_ha2 | 192.168.18.172 |
| CentOs6.4_min_java_hadoop_ha3 | 192.168.18.173 |
| CentOs6.4_min_java_hadoop_ha4 | 192.168.18.174 |
| CentOs6.4_min_java_hadoop_ha5 | 192.168.18.175 |
| CentOs6.4_min_java_hadoop_ha6 | 192.168.18.176 |
| CentOs6.4_min_java_hadoop_ha7 | 192.168.18.177 |

  • 设置每台机器的hostname

    vi /etc/sysconfig/network    #编辑network文件，修改内容如下
	NETWORKING=yes
	HOSTNAME=ha1
  
#分别在7台机器上执行上述命令，使得各台机器的hostname对应关系如下：
  
| 机器名                        | hostname |
| ----------------------------- | -------- |
| CentOs6.4_min_java_hadoop_ha1 | ha1      |
| CentOs6.4_min_java_hadoop_ha2 | ha2      |
| CentOs6.4_min_java_hadoop_ha3 | ha3      |
| CentOs6.4_min_java_hadoop_ha4 | ha4      |
| CentOs6.4_min_java_hadoop_ha5 | ha5      |
| CentOs6.4_min_java_hadoop_ha6 | ha6      |
| CentOs6.4_min_java_hadoop_ha7 | ha7      |

  • 修改各个机器的主机名和ip的映射（修改每台机器的hosts文件）

    vi /etc/hosts   #为hosts文件添加如下内容
  
	192.168.18.171 ha1
	192.168.18.172 ha2
	192.168.18.173 ha3
	192.168.18.174 ha4
	192.168.18.175 ha5
	192.168.18.176 ha6 
	192.168.18.177 ha7

  • 为每台机器创建一个名为hadoop的用户

    useradd hadoop  #添加hadoop用户
passwd hadoop   #给hadoop用户 设置密码

  • 为每台机器的hadoop用户配置sudo权限

    vi /etc/sudoers   #使用root用户编辑 添加如下内容：
	hadoop ALL=(ALL) ALL

  • 关闭每台机器的防火墙

    #查看防火墙状态
service iptables status
  
#关闭防火墙
service iptables stop
  
#查看防火墙开机启动状态
chkconfig iptables --list
  
#关闭防火墙开机启动
chkconfig iptables off

  • 每台机器安装JDK

    #创建文件夹
mkdir /home/hadoop/develop_env
  
#解压
tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/develop_env

  vim /etc/profile    #将java添加到环境变量中在文件最后添加
      export JAVA_HOME=/home/hadoop/develop_env/jdk1.7.0_65
      export PATH=$PATH:$JAVA_HOME/bin

  #刷新配置
  source /etc/profile
2.2 hadoop配置
  • 集群规划
主机名安装的软件运行的进程
ha1hadoopNameNode、DFSZKFailoverController(zkfc)
ha2hadoopNameNode、DFSZKFailoverController(zkfc)
Ha3hadoopResourceManager
Ha4hadoopResourceManager
Ha5hadoop、zookeeperDataNode、NodeManager、JournalNode、QuorumPeerMain
Ha6hadoop、zookeeperDataNode、NodeManager、JournalNode、QuorumPeerMain
Ha7hadoop、zookeeperDataNode、NodeManager、JournalNode、QuorumPeerMain

1.在hadoop2.0中通常由两个NameNode组成，一个处于active状态（激活状态），另一个处于standby状态（后备状态）。ActiveNameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。

hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode（jounal 日志）同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode

这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当ActiveNameNode挂掉了，会自动切换Standby NameNode为standby状态

​

2.hadoop-2.2.0中依然存在一个问题，就是ResourceManager只有一个，存在单点故障，hadoop-2.4.1解决了这个问题，有两个ResourceManager，一个是Active，一个是Standby，状态由zookeeper进行协调

  • 安装步骤

    1. 安装配置zooekeeper集群（在ha5上）（更详细zookeeper安装步骤参见zookeeper安装）

      1.1解压

      #上传zookeeper-3.4.7.tar.gz到/home/hadoop/develop_env
tar -zxvf zookeeper-3.4.7.tar.gz -C /home/hadoop/develop_env/

      1.2修改配置

      cd /home/hadoop/develop_env/zookeeper-3.4.7/conf/

cp zoo_sample.cfg  zoo.cfg

vi  zoo.cfg

#修改：dataDir=/home/hadoop/develop_env/zookeeper-3.4.7/data
#在最后添加：
server.1=ha5:2888:3888
server.2=ha6:2888:3888
server.3=ha7:2888:3888

#然后创建一个data文件夹
mkdir /home/hadoop/develop_env/zookeeper-3.4.7/data
echo 1 > /home/hadoop/develop_env/zookeeper-3.4.7/data/myid

      1.3将配置好的zookeeper拷贝到其他节点

      scp-r /home/hadoop/develop_env/zookeeper-3.4.7/ ha6:/home/hadoop/develop_env/
scp-r /home/hadoop/develop_env/zookeeper-3.4.7/ ha7:/home/hadoop/develop_env/

#注意：修改ha6、ha7对应/hadoop/zookeeper-3.4.5/data/myid内容
#ha6：
echo 2 > /home/hadoop/develop_env/zookeeper-3.4.7/data/myid
#ha7：
echo 3 > /home/hadoop/develop_env/zookeeper-3.4.7/data/myid

      ​

      ​

    2. 安装配置hadoop集群（在ha1上操作）

      2.1解压

      tar -zxvf hadoop-2.7.1.tar.gz

      2.2配置HDFS（hadoop2.0所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下）

      #将hadoop添加到环境变量中

vi  /etc/profile

export JAVA_HOME=/home/hadoop/develop_env/jdk1.7.0_65
export HADOOP_HOME=/home/hadoop/develop_env/hadoop-2.7.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

      2.2.1修改hadoop-env.sh

      #hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下
cd /home/hadoop/develop_env/hadoop-2.7.1/etc/hadoop
vi hadoo-env.sh   #添加如下语句
	#export JAVA_HOME=/home/hadoop/develop_env/jdk1.7.0_55

      2.2.2修改core-site.xml

      <configuration>
<!-- 指定hdfs的nameservice为ns1 -->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://ns1/</value>
</property>

<!-- 指定hadoop临时目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/home/hadoop/develop_env/hadoop-2.7.1/data</value>
</property>

<!-- 指定客户端访问zookeeper的地址 -->
<property>
	<name>ha.zookeeper.quorum</name>
	<value>ha5:2181,ha6:2181,ha7:2181</value>
</property>
</configuration>

      2.2.3修改hdfs-site.xml

      <configuration>
    <!--指定hdfs的nameservice为ns1，需要和core-site.xml中的保持一致-->
    <property>
        <name>dfs.nameservices</name>
        <value>ns1</value>
    </property>
    <!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
    <property>
            <name>dfs.ha.namenodes.ns1</name>
        <value>nn1,nn2</value>
    </property>
    <!-- nn1的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.ns1.nn1</name>
        <value>ha1:9000</value>
    </property>
    <!-- nn1的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.ns1.nn1</name>
        <value>ha1:50070</value>
    </property>
<!-- nn2的RPC通信地址 -->
<property>
	<name>dfs.namenode.rpc-address.ns1.nn2</name>
	<value>ha2:9000</value>
</property>
<!-- nn2的http通信地址 -->
<property>
	<name>dfs.namenode.http-address.ns1.nn2</name>
	<value>ha2:50070</value>
</property>
<!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
<property>
	<name>dfs.namenode.shared.edits.dir</name>
	<value>qjournal://ha5:8485;ha6:8485;ha7:8485/ns1</value>
</property>
<!--指定JournalNode在本地磁盘存放数据的位置 -->
<property>
	<name>dfs.journalnode.edits.dir</name>
	<value>/home/hadoop/develop_env/hadoop-2.7.1/journaldata</value>
</property>
<!-- 开启NameNode失败自动切换 -->
<property>
	<name>dfs.ha.automatic-failover.enabled</name>
	<value>true</value>
</property>
<!-- 配置失败自动切换实现方式的那个主类 -->
<property>
		<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!--配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行
	就是防止脑裂的发生，采用何种方式杀死一个namenode进程-->
<property>
	<name>dfs.ha.fencing.methods</name>
	<value>
	sshfence
	shell(/bin/true)
	</value>
</property>
<!-- 使用sshfence隔离机制时需要ssh免登陆-->
<property>
	<name>dfs.ha.fencing.ssh.private-key-files</name>
	<value>/home/hadoop/.ssh/id_rsa</value>
</property>
<!--配置sshfence隔离机制超时时间 -->
<property>
	<name>dfs.ha.fencing.ssh.connect-timeout</name>
	<value>30000</value>
</property>
</configuration>

      以上是配置的hdfs的高可用==========

      ​

      2.2.4修改mapred-site.xml

      <configuration>
<!--指定mr框架为yarn方式 -->
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>
</configuration>

      2.2.5修改yarn-site.xml

      <configuration>
<!-- 是否开启RM高可用 -->
<property>
	<name>yarn.resourcemanager.ha.enabled</name>
	<value>true</value>
</property>
    
<!-- 指定yarn的ha的虚拟服务名  类似上面hdfs的hdfs://ns1 -->
<property>
	<name>yarn.resourcemanager.cluster-id</name>
	<value>yrc</value>
</property>
<!-- yarn的ha虚拟服务名下的具体的rm -->
<property>
	<name>yarn.resourcemanager.ha.rm-ids</name>
	<value>rm1,rm2</value>
</property>
<!-- 分别指定RM的具体地址 -->
<property>
	<name>yarn.resourcemanager.hostname.rm1</name>
	<value>ha3</value>
</property>
<property>
	<name>yarn.resourcemanager.hostname.rm2</name>
	<value>ha4</value>
</property>
    
 <!-- 分别指定RM1的web ui具体访问地址 -->
<property>
	<name>yarn.resourcemanager.webapp.addresss.rm1</name>
	<value>ha3:8088</value>
</property>
    <property>
	<name>yarn.resourcemanager.webapp.addresss.rm2</name>
	<value>ha4:8088</value>
</property>
    
<!-- 指定zk集群地址 -->
<property>
	<name>yarn.resourcemanager.zk-address</name>
	<value>ha5:2181,ha6:2181,ha7:2181</value>
</property>
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
</configuration>

      2.2.6修改slaves(slaves是指定子节点的位置，因为要在ha1上启动HDFS、在ha3启动yarn，所以ha1上的slaves（做苦工的）文件指定的是datanode的位置，ha3上的slaves文件指定的是nodemanager的位置)

      ​ ha5

      ​ ha6

      ​ ha7

      2.2.7配置免密码登陆

      #首先要配置ha1到ha2、ha3、ha4、ha5、ha6、ha7的免密码登陆
#在ha1上生产一对钥匙
ssh-keygen -t rsa
#将公钥拷贝到其他节点，包括自己
ssh-copy-id ha1
ssh-copy-id ha2
ssh-copy-id ha3
ssh-copy-id ha4
ssh-copy-id ha5
ssh-copy-id ha6
ssh-copy-id ha7

#配置ha3到ha4、ha5、ha6、ha7的免密码登陆
#在ha3上生产一对钥匙
ssh-keygen -t rsa
#将公钥拷贝到其他节点,包括自己
ssh-copy-id ha3
ssh-copy-id ha4
ssh-copy-id ha5
ssh-copy-id ha6
ssh-copy-id ha7

#注意：两个namenode之间要配置ssh免密码登陆，别忘了配置ha2到ha1的免登陆
在ha2上生产一对钥匙
ssh-keygen -t rsa
ssh-coyp-id -i ha1

      ​

      2.2.8将配置好的hadoop拷贝到其他节点

      scp -r /home/hadoop/develop_env/hadoop-2.7.1/  ha2:/home/hadoop/develop_env/
scp -r /home/hadoop/develop_env/hadoop-2.7.1/  ha3:/home/hadoop/develop_env/
scp -r /home/hadoop/develop_env/hadoop-2.7.1/  ha4:/home/hadoop/develop_env/
scp -r /home/hadoop/develop_env/hadoop-2.7.1/  ha5:/home/hadoop/develop_env/
scp -r /home/hadoop/develop_env/hadoop-2.7.1/  ha6:/home/hadoop/develop_env/
scp -r /home/hadoop/develop_env/hadoop-2.7.1/  ha7:/home/hadoop/develop_env/
2.3 HA 启动及测试

注意：严格按照下面的步骤进行启动

  1. 启动zookeeper集群（分别在ha5、ha6、ha7上启动zk）

    cd /home/hadoop/develop_env/zookeeper-3.4.7/bin/
./zkServer.sh start

#查看状态：一个leader，两个follower
./zkServer.sh status

  2. 启动journalnode（分别在在ha5、ha6、ha7上执行）

    cd  /home/hadoop/develop_env/hadoop-2.7.1
sbin/hadoop-daemon.sh  start journalnode
#运行jps命令检验，ha5、ha6、ha7上多了JournalNode进程

#一个命令启动多个journalNode进程     需要测试一下
sbin/hadoop-daemons.sh  start journalnode

  3. 格式化HDFS

    #在ha1上执行命令:
hdfs namenode -format

#格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/home/hadoop/develop_env/hadoop-2.7.1/data，然后将/home/hadoop/develop_env/hadoop-2.7.1/data拷贝到ha2的/home/hadoop/develop_env/hadoop-2.7.1/下。
scp -r /home/hadoop/develop_env/hadoop-2.7.1/data/*  ha2:/home/hadoop/develop_env/hadoop-2.7.1/data
##也可以这样，在ha2上执行下面命令 
hdfs namenode  -bootstrapStandby

  4. 格式化ZKFC(在ha1上执行即可)

    hdfs zkfc -formatZK

  5. 启动HDFS(在ha1上执行)

    sbin/start-dfs.sh

    =以上是启动高可用hdfs需要的步骤==========

    ​

  6. 启动YARN在ha3上执行(#####注意#####：是在ha3上执行start-yarn.sh，把namenode和resourcemanager分开是因为性能问题，因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动)

    sbin/start-yarn.sh
#此命令只能启动ha3上的resourceManager     

#而在ha4上的resourceManager需要手动启动一下。
yarn-daemon.sh start resourcemanager

#上述两个命令执行完毕后，yarn的ha就启动成功了。其中一个reasourceManager是active一个是standby

    到此，hadoop-2.7.1配置完毕，可以统计浏览器访问:http://192.168.18.171:50070>

    ​ NameNode’ha1:9000’ (active)

    http://192.168.18.172:50070

    ​ NameNode’ha2:9000’ (standby)

    http://192.168.18.173:8088/ 查看yarn集群信息类似

    ​ yarn-ha.png

  7. 验证HDFSHA

    #首先向hdfs上传一个文件
hadoopfs -put /etc/profile /profile
hadoopfs -ls /

#然后再kill掉active的NameNode
kill -9 <pid of NN>

#通过浏览器访问：http://192.168.18.172:50070
NameNode'ha2:9000' (active)

#这个时候ha2上的NameNode变成了active
#在执行命令：
hadoopfs -ls 
	#-rw-r--r--3 root supergroup 1926 2014-02-06 15:36 /profile

  8. 上述启动HA的步骤是第一次时需要执行的步骤，下面是非第一次的启动的步骤：

    • 启动zookeeper集群（分别在ha5、ha6、ha7上启动zk）

    • 启动HDFS(在ha1上执行)

      sbin/start-dfs.sh

    • 启动YARN在ha3上执行；ha4上的resourceManager需要手动启动

      sbin/start-yarn.sh

#手动启动那个挂掉的NameNode
sbin/hadoop-daemon.sh start namenode

#通过浏览器访问：http://192.168.18.171:50070
#NameNode'ha1:9000' (standby)
#验证YARN：
#运行一下hadoop提供的demo中的WordCount程序：

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /wordcount/input /wordcount/output

      ​

  9. 测试集群工作状态的一些指令：

    bin/hdfs dfsadmin -report #查看hdfs的各节点状态信息
bin/hdfs haadmin -getServiceState nn1 #获取一个namenode节点的HA状态
sbin/hadoop-daemon.sh start namenode #单独启动一个namenode进程
./hadoop-daemon.sh start zkfc #单独启动一个zkfc进程
cloudera首席用户
关注
专栏目录
12）Hadoop之HDFS HA（高可用）
zy
09-25 433
HA概述： 所谓HA（High Available），即高可用（7*24小时服务不中断） 实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。 NameNode主要在以下两个方面影响HDFS集群： NameNode机器发生意外，如宕机，集群将无法使用，直...
Hadoop HA
qq_25460227的博客
08-01 419
第一节：HADOOP HA概述 1.1 背景 ​ 在Hadoop 2.0.0之前，NameNode是HDFS集群中的单点故障（SPOF）。每个群集都有一个NameNode，如果该机器或进程不可用，整个群集将不可用，直到NameNode重新启动或在单独的计算机上启动为止。这在两个主要方面影响了HDFS集群的总体可用性： 在计划外事件（例如机器崩溃）的情况下，直到操作员重新启动NameNod...
Hadoop组件搭建-Hadoop HA高可用
qqi漆的博客
07-18 217
在操作之前请先确保java成功安装 并且把前置要求完成 安装HA需要zookeeper组件 请先安装好Zookeeper 组件 解压Hadoop 将hadoop-2.6.0.tar.gz解压到root下 tar -zxvf hadoop-2.6.0.tar.gz -C /root 把hadoop解压出来的文件改名成hadoop mv hadoop-2.6.0 hadoop 配置Hadoop环境变量 export HADOOP_HOME=/root/hadoop export PATH=$PATH:$HADO
Hadoop Ha高可用架构
missTu~的博客
05-31 571
1. 什么是Ha? Ha(High availability )高可用性。Hadoop Ha可以有多个namenode结点，一个是活跃（active）状态，一个是准备（standby）状态。HDFS集群中NameNode 存在单点故障（SPOF）。 2. 为什么提出Ha? 对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使用，直到NameNode 重新启...
大数据Hadoop之——Hadoop 3.3.4 HA（高可用）原理与实现（QJM）
匠人精神，持之以恒！
08-20 2921
在 Hadoop 2.0.0 之前，一个集群只有一个Namenode，这将面临单点故障问题。如果 Namenode 机器挂掉了，整个集群就用不了了。只有重启 Namenode ，才能恢复集群。另外正常计划维护集群的时候，还必须先停用整个集群，这样没办法达到 7 * 24小时可用状态。Hadoop 2.0 及之后版本增加了 Namenode 高可用机制，下面详细介绍。
hadoop高可用【HA】配置详解
大唐有趣的小胡.
07-31 4466
想实现 Hadoop 高可用就必须实现 NameNode 的高可用，NameNode 是HDFS的核心，HDFS 又是 Hadoop 核心组件，NameNode 在 Hadoop 集群中至关重要；NameNode 宕机，将导致集群不可用，如果NameNode数据丢失将导致整个集群的数据丢失，而 NameNode 的数据更新又比较频繁，实现 NameNode 高可用势在必行；...
Hadoop HA机制
雾幻的博客
03-27 914
Hadoop1.0版本容易引发单点故障 HDFS：Hadoop1.x版本中单NameNode设计，其单点处理能力成为HDFS的主要瓶颈 单点故障、内存受限，制约集群扩展性和缺乏隔离机制（不同业务使用同一个NameNode导致业务相互影响）等 因为客户端对HDFS的读、写操作之前都要访问NameNode服务器。存在【单点故障问题】 计划内的软件或硬件升级，将导致集群在短时间范围内不可用。 ...
Hadoop技术之Hadoop HA 机制详解
热门推荐
pengjunlee的博客
08-11 5万+
原文地址：https://www.cnblogs.com/qcloud1001/p/7693476.html 导语 最近分享过一次关于Hadoop技术主题的演讲，由于接触时间不长，很多技术细节认识不够，也没讲清楚，作为一个技术人员，本着追根溯源的精神，还是有必要吃透，也为自己的工作沉淀一些经验总结。网上关于Hadoop HA的资料多集中于怎么搭建HA，对于HA为什么要这么做描述甚少，所以本文对...
HadoopHA集群部署、YARNHA配置、启动与验证教学课件.pptx
06-20
【Hadoop HA集群部署】是高可用(High Availability)配置的一种，主要目的是为了确保Hadoop分布式文件系统在遇到单点故障时，能够自动切换到备用节点，保证服务不间断。这通常涉及到NameNode HA，Secondary NameNode...
Hadoop HA.pdf
最新发布
03-27
HA机制可以使得Hadoop集群在NameNode故障时，自动切换到备用的NameNode，以确保集群的运行不中断。 Hadoop HA的实现主要依赖于ZooKeeper。ZooKeeper是一个分布式协调服务，提供了一种高效、可靠的方式来管理分布式...
Hadoop-HA模式（详解）
窃格拉瓦
08-21 2万+
一、概述 之前的博客写了搭建hadoop集群环境，今天写一写搭建高可用（HA）环境。Hadoop-HA模式大致分为两个(个人在学习中的理解)： namenode 高可用 yarn 高可用 1、Namenode HA Namenode在HDFS中是一个非常重要的组件，相当于HDFS文件系统的心脏，在显示分布式集群环境中，还是会有可能出现Namenode的崩溃或各种意外。所以，高可用模...
Hadoop高可用（HA机制）详解
weixin_43230682的博客
08-11 3185
目录 一、ZooKeeper监听器 二、HDFS HA原理 1、元数据同步 2、主备切换 在前面的文章Zookeeper（2）基础架构与内部原理解析（数据存储、watch机制、监听器、选举机制）中有详细介绍分布式协调框架Zookeeper的相关组件和原理，本文结合Zookeeper当中的监听器再来进一步介绍HDFS的HA方案。 一、ZooKeeper监听器 关于ZooKeeper监听器有三个重要的逻辑： 注册：客户端向ZooKeeper集群注册监听器 监听事件：监听器负责监听.
hadoop HA完全分布式模式原理即配置
chgyprom的博客
05-18 1668
1、概论再hadoop1.x之前一直存在着单点故障问题，即nemenode只有一个。hadoop 2.x后引入HA的机制，HA是完全分布式结构。主要有两种一种是NFS（Network File System）方式，另外一种是QJM（Quorum Journal Manager）方式。用的最多的是QJM的方式，特点稳定性更好。2、namenode数据同步hadoop2.0的HA 机制有两个namen...
hive报错Unsupported SubQuery Expression : Correlating expression cannot contain unqualified column
qq_36643786的博客
12-13 1万+
hive报错Unsupported SubQuery Expression : Correlating expression cannot contain unqualified column 错误语句： select * from a where a.id IN (SELECT b.id FROM b WHERE b.x='1'); 原因： hive 1.1版本支持in，但是不支持in的子...
CDH HIVE 在DataGrip中的配置
qq_36643786的博客
12-09 2182
CDH HIVE 在DataGrip中的配置 环境： CDH hive：1.1版本，并没有启用任何hive认证 DataGrip : 2018.1.4 下载官方驱动 官方下载地址：https://www.cloudera.com/downloads/connectors/hive/jdbc/2-5-4.html 选择对应版本的驱动， 放到指定位置 解压到DataGrip的jdbc驱动文件夹，可...
HDFS的java api及namenode、datanode详解
qq_36643786的博客
12-09 1323
HDFS的java api详解 文章目录HDFS的java api详解回顾：今天任务教学目标第一节：使用java操作HDFS1.1 配置开发环境1.2 **HDFS控制（Java）**1.3 **代码演示**1.4 FileSystem1.5 FSDataInputStream1.6 **FSDataOutputStream**第二节：NameNode详解2.1 NameNode的功能2.2 Na...
hadoop概述
qq_36643786的博客
12-09 730
快速步入hadoop世界 文章目录快速步入hadoop世界回顾：今天任务教学目标第一节：HADOOP背景介绍1.1 什么是HADOOP1.2 HADOOP产生背景1.3 HADOOP在大数据、云计算中的位置和关系1.4 国内外HADOOP应用案例介绍1.5 国内HADOOP的就业情况分析1.6 HADOOP生态圈以及各组成部分的简介第二节：分布式系统概述2.1 分布式软件系统2.2 常用分布式软...
使用oozie时运行job异常
qq_36643786的博客
12-11 655
异常信息Call From cloudera/192.168.253.128 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRe...
hdfs使用
qq_36643786的博客
12-09 557
hdfs的使用 文章目录hdfs的使用回顾：今天任务教学目标第一节：HDFS基本概念1.1 HDFS的介绍1.2 HDFS设计目标1.3 HDFS的特点1.4 hdfs核心设计思想及作用1.5 重要特性：第二节：HDFS的shell2.1 HDFS shell操作2.2 命令行客户端支持的命令参数2.3 常用命令参数介绍及命令案例第三节 HDFS工作机制详解3.1 HDFS概述3.2 写入过程分析...
Hadoop HA集群配置与启动指南
此外，集群的网络环境、安全认证（如果启用）以及监控和故障检测机制也是保障HA不可或缺的部分。 Hadoop HA集群的启动涉及多步骤的配置和初始化，包括JournalNode的启动、NameNode的格式化和ZooKeeper中的状态注册...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值