关于简单介绍Mapreduce,Hbase,Kafka,Zookeeper

本文介绍了Zookeeper的节点类型、选举机制及其在分布式锁中的应用,接着概述了Kafka的重要设计思想、消息可靠性和备份机制,还涵盖了MapReduce的工作原理,以及HBase的特性与架构。这些技术在分布式系统中扮演着关键角色,尤其在数据处理和协调服务中。
摘要由CSDN通过智能技术生成

1.1. zookeeper是干什么的?

Zookeeper 是 分布式协调服务,

分布式应用程序可以基于它实现同步服务,配置维护和命名服务等

1.2. zookeeper节点类型

Znode有两种类型:

短暂(ephemeral)(断开连接自己删除)

持久(persistent)(断开连接不删除)

Znode有四种形式的目录节点(默认是persistent 

PERSISTENT

PERSISTENT_SEQUENTIAL(持久序列/test0000000019 

EPHEMERAL

EPHEMERAL_SEQUENTIAL

创建znode时设置顺序标识,znode名称后会附加一个值

顺序号是一个单调递增的计数器,由父节点维护

在分布式系统中,顺序号可以被用于为所有的事件进行全局排序,这样客户端可以通过顺序号推断事件的顺序

Zookpeeper的基本架构

这里写图片描述
1 每个Server在内存中存储了一份数据;
2 Zookeeper启动时,将从实例中选举一个leader(Paxos协议);
3 Leader负责处理数据更新等操作(Zab协议);
4 一个更新操作成功,当且仅当大多数Server在内存中成功修改
数据。
这里写图片描述


1.3. zookeeper选举机制

1.3.1. zookeeper的选举机制(全新集群)

以一个简单的例子来说明整个选举的过程.
假设有五台服务器组成的zookeeper集群,它们的id1-5,同时它们都是最新启动的,也就是没有历史数据,在存放数据量这一点上,都是一样的.假设这些服务器依序启动,来看看会发生什么.
1) 服务器1启动,此时只有它一台服务器启动了,它发出去的报没有任何响应,所以它的选举状态一直是LOOKING状态
2) 服务器

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值