分布式
文章平均质量分 52
yongge
用图片记录知识
展开
-
Kafka不仅是消息队列而是一个分布式消息处理平台
然后,主题还可以细分为多个分区一个分区只能属于单个主题,并且同一主题下的各个分区包含的消息数据也是不同的,分区在存储层面可以看作一个可追加的日志(Log)文件,消息被追加到分区分区日志文件的时候都会分配一个特点的偏移量(offset)。它标识当前日志文件中下一条待写入消息的offset,如下图所示,offset为9的位置即为当前日志文件的LEO,LEO的大小相当于当前日志分区中最后一条消息的offset加1。高水位,它标识了一个特定的消息偏移量(offset),消费者只能拉取到这个offset之前的消息。原创 2024-04-18 18:06:48 · 1108 阅读 · 0 评论 -
kafka索引及日志文件介绍
原创 2022-02-25 22:25:05 · 769 阅读 · 0 评论 -
kafka架构开篇
kafka消息队列架构图原创 2022-02-24 18:10:36 · 3445 阅读 · 0 评论 -
Redis面试常见问题及解决方案
redis常见面试问题-缓存 穿透 击穿 雪崩及分布式锁原创 2022-02-23 18:02:14 · 374 阅读 · 0 评论 -
Redis知识体系之数据类型基本使用及IO模型
Redis IO模型及数据类型基本使用1.内核IO模型演进2.数据类型常用场景原创 2022-02-22 17:29:48 · 361 阅读 · 0 评论 -
Redis知识体系之开篇
Redis知识体系之开篇1.前置知识磁盘:1.寻址:ms(毫秒)2.带宽:G/ms内存:1.寻址:ns(纳秒)2.带宽:很大秒>毫秒>微秒>纳秒 磁盘比内存的寻址慢100倍。I/O Buffer成本问题:磁盘与磁道,扇区,一扇区512Byte带来的成本变大,索引4k,操作系统无论你读多少,都是最少4k从磁盘里拿数据2.Redis简介Redis 是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构,如原创 2022-02-21 16:42:02 · 138 阅读 · 0 评论 -
zookeeper分布式锁与Redis分布式锁比较
分布式锁原创 2022-02-18 16:58:39 · 1675 阅读 · 0 评论 -
zookeer-梳理及知识点解析之ZAB算法及基本使用
zookeer-梳理及知识点解析之ZAB算法及基本使用1.ZAB选举过程描述1.1选举场景a.集群第一次启动b.集群重启,leader挂了1.2 leader满足的条件a.经验最丰富 zxidb.myidc.过半通过的数据才是真数据,你见到的可用的zxid1.3 ZK选举过程a.3888造成两两连通b.只要任何人投票都会出发那个准leader投票c.推选制,先比较zxid,如果zxid相同,再比较myid2.具体案例描述选举过程集群4台机器,3台过半选举过程描述:a.当le原创 2022-02-16 20:05:35 · 900 阅读 · 0 评论 -
zookeeper-梳理及知识点解析-paxos算法解析
zookeeper-梳理及知识点解析-paxos算法解析1.zookeeper服务器之间的网络连接图准备三台zookeeper服务器,分别是node231,node240和node71,并且node240是leader,我们使用命令netstat -natp | egrep ‘(2888|3888)’,查看网络连接情况。从上图,可以画出3888网络连接图端口2888的网络连接图端口2888:leader接受write请求端口3888:选主投票使用熟悉了网络连接图,下面我们来看下pa原创 2022-02-15 13:19:25 · 176 阅读 · 0 评论 -
zookeeper-梳理及知识点解析
zookeeper-梳理及知识点解析-第一节1.基础知识点必知会1.1 zookeeper的特征及保证1.2 zookeeper数据结构zookeeper是一个目录树结构,每个节点只能存1MB大小数据,不要把zookeeper当作数据库使用,类型可分持久节点和临时节点,每个节点都可以序列化。cZxid = 0x10e00000298ctime = Mon Jul 19 17:01:13 CST 2021mZxid = 0x10e00000298mtime = Mon Jul 19 17:0原创 2022-02-14 11:43:46 · 967 阅读 · 0 评论