- 博客(5)
- 收藏
- 关注
RSS订阅原创 分库分表实现
3.Hash切分 通过对分库分表键进行一定的运算，比如取模运算，决定路由到哪张数据库表，优点是数据分片较为均匀，读写操作也较为均匀，但也可能会存在跨节点查询以及分页的问题。2.中间表映射 维护一张分库分表的键与数据库表的映射关系，在查询和更新数据之前先查询这张表的数据，问题就是这张表的读压力过大，而且引入了新的节点，增加了复杂度。1.范围切分 根据某个字段的范围进行切分，比如ID，id在0~1000万在A表，1000~2000万在B表这种方式，有热点问题，写操作主要都集中在最后一张表。
2023-04-20 18:53:43
104
原创 Kafka HW 与LEO笔记
另外每个replica都有HW,leader和follower各自负责更新自己的HW的状 态。对于leader新写入的消息，consumer不能立刻消费，leader会等待该消息被所有ISR中的replicas同步后更新HW， 此时消息才能被consumer消费。这样就保证了如果leader所在的broker失效，该消息仍然可以从新选举的leader中获取。HW俗称高水位，HighWatermark的缩写，取一个partition对应的ISR中最小的LEO(
2023-04-14 17:02:42
74
1
原创 Kafka基本概念--Consumer
consumer group中的consumer instance的数量不能比一个Topic中的partition的数量多 ，否则 ，多出来的consumer消费不到消息。如果有在总体上保证消费顺序的需求 ，那么我们可以通过将topic的partition数量设置为1 ，将consumer group中的 consumer instance数量也设置为1 ，但是这样会影响性能 ，所以kafka的顺序消费很少用。queue模式：所有的consumer都位于同一个consumer group 下；
2023-04-10 18:49:22
56
1
原创 Kafka基本概念--Topic
Partition是一个有序的message序列 ，这些message按顺序添加到一个叫做commit log的文件中。每个partition中的 消息都有一个唯一的编号 ，称之为offset，用来唯一标示某个分区中的message。一个partition中的message的offset都是唯一的 ，但是不同的partition 中的message的offset可能是相同的。isr 是replicas的一个子集 ，它只列出当前还存活着的 ，并且已同步备份了该partition的节点。
2023-04-10 18:47:14
333
1
原创 Kafka基本概念
kafka是一个分布式的，分区的消息(官方称之为commit log)服务。它提供一个消息系统应该具备的功能，但是确有着独特的设计。服务端(brokers)和客户端(producer、consumer)之间通信通过TCP协议来完成。
2023-03-25 23:52:11
699
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人