![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
zookeeper
文章平均质量分 80
zookeeper数据同步原理,zab协议
痴迷的小小工匠
在繁碌的生活中,做一个小小工匠,痴迷其中
展开
-
redis(4)(1)——(总结)缓存、分布式锁
缓存问题 缓存穿透 缓存穿透是指在高并发下查询key不存在的数据,会穿过缓存查询数据库。导致数据库压力过大而宕机 解决方案: 对查询结果为空的情况也进行缓存,缓存时间(ttl)设置短一点,或者该key对应的数据insert了 之后清理缓存。 问题:缓存太多空值占用了更多的空间 使用布隆过滤器。在缓存之前在加一层布隆过滤器,在查询的时候先去布隆过滤器查询 key 是否 存在,如果不存在就直接返回,存在再查缓存和DB。 ...原创 2021-06-20 22:25:15 · 122 阅读 · 0 评论 -
HDFS(1)(1.2)——集群安装(HA)
概述 1. 所谓HA(High Available),即高可用(7*24小时不中断服务)。 2. 实现高可用最关键的策略是消除单点故障。Hadoop-HA严格来说应该分成各个组件的HA机制: HDFS的HA和YARN的HA 3. Hadoop2.0之前,在HDFS集群中NameNode存在单点故障(SPOF)。 4. NameNode主要在以下两个方面影响HDFS集群 NameNode机器发生意外,如宕机,集群将无法使用,直到管理员重启 Na...原创 2021-05-21 08:33:20 · 77 阅读 · 0 评论 -
Zookeeper(3)——命令行使用,编程实践总结(对监听,分布式锁)
命令行使用 编程实践之监听 编程实践之分布式锁原创 2021-05-21 08:24:51 · 129 阅读 · 0 评论 -
Zookeeper(2)——数据结构,监听,选举,zab协议介绍
前面Zookeeper(1),我们介绍了下zookeeper和如何安装zookeeper集群,本篇文章我们主要详细介绍zookeeper的数据结构,突出特征(监听机制),选举原理等。 Zookeeper数据结构 数据结构Znode 特征 在ZooKeeper中,数据信息被保存在一个个数据节点上,这些节点被称为znode。 ZNode 是 Zookeeper 中最小数据单位,在 ZNode 下面又可以再挂 ZNode,这样一层层下去就形成了一个层次化 命名空间 ZNode 树,我们称为 ZNode原创 2021-05-20 07:09:14 · 106 阅读 · 0 评论 -
Zookeeper(1)——集群安装
介绍 Zookeeper 是一个分布式协调服务的开源框架。 主要用来解决分布式集群中应用系统的一致性问题, 例如怎样避免同时操作同一数据造成脏读的问题。分布式系统中数据存在一致性的问题!! ZooKeeper 本质上是一个分布式的小文件存储系统。 提供基于类似于文件系统的目录树方式的数 据存储,并且可以对树中的节点进行有效管理。 ZooKeeper 提供给客户端监控存储在zk内部数据的功能,从而可以达到基于数据的集群管理。 诸 如: 统一命名服务(dubbo)、分布式配置管理..原创 2021-05-19 08:40:39 · 167 阅读 · 0 评论 -
zookeeper选举原理和zab协议
一、选举原理 首先每一个节点都有一个myid,节点一启动,就会进行查找leader,如果没有找到,就会进行投票, 它会接受到其它节点的投票信息,然后拿自己的和收到的投票格式进行对比(先比较zxid,谁的大,谁(节点)的zxid大,并且超过半数,谁就是leader) 投票格式为(myId,zxid),即选举机制保证了leader为所有机器的最大事务 一、zab协议 Zookeeper 的核心是原子广播机制,这个机制保证了各个 server 之间的同步,保证了多节点数据的一致性。 实现这个机制.原创 2021-04-05 21:43:45 · 341 阅读 · 0 评论