![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
看着蓝天抽支烟
这个作者很懒,什么都没留下…
展开
-
kafka-broker-文件清理策略
考虑一个问题压缩方式。原创 2023-06-02 17:21:41 · 55 阅读 · 0 评论 -
kafka-broker-文件存储机制
Topic 是逻辑上的概念,而partition是物理上的概念, 每个 partition 对应一个log文件,该log文件中存储的就是producer生产的数据。Producer生产的数据会被不断追加到该log文件夹的末端,为了防止log文件过大而导致数据查询效率低下,Kafka采取了分片和索引机制,将每个partition分为多个segment.每个segment包括: “.index”文件和 “.log”文件及.timeindex 等文件。原创 2023-06-02 17:02:34 · 112 阅读 · 0 评论 -
kafka-broker-LeaderPartiion负载均衡
正常情况下,kafka 本身会自动把Leader Parition 均匀分布在各个机器上,来保证每台机器的读写吞吐量都是均匀的。但是如果某些borker 宕机了,会导致Leader Partition 过于集中在其他少部分几台broker上,这会导致少数borker的读写请求压力过高,其他宕机的Borker 重启之后都是Follwer Partition,读写请求底,造成集群负载不均衡。建议不要开启,自动 leaader partition平衡需要 耗费大量的时间。原创 2023-06-02 13:52:18 · 144 阅读 · 0 评论 -
kafka-生产者-数据可靠性
由于acks=-1,生产者发送过来的数据,需要Leader 和ISR队列里面的所有节点收到数据后完成应答。但是如果 数据完成同步时,还没有应答的情况下,机器挂了。生产者没有收到应答信息,又回重新发送一次数据。因此 leader收到了两份数据。原创 2023-06-01 17:53:15 · 50 阅读 · 0 评论 -
kafka-生产者-提高生产者吞吐量-参数配置
batch.size: 默认16k, 只有数据积累到batch.size之后,sender才会发送数据。linger.ms: 等待时间,单位ms, 默认是0ms。修改为5-100ms,会导致数据延迟。compression.type: snappy 压缩recordAccumulator: 缓存区大小,默认32m,修改为64m。原创 2023-06-01 17:18:10 · 417 阅读 · 0 评论 -
kafka-生产者-自定义分区器
研发人员可以根据企业需求,自己重新实现分区器(1)需求假如我们实现一个分区器,发送过来的数据中包含某个beijing,就发发往0号分区,不包含beijing 就发往 1号分区@Override} else {> map) {} }/*** kafka生产者-自定义分区// 配置 Properties properties = new Properties();原创 2023-06-01 16:35:43 · 151 阅读 · 0 评论 -
kafka-生产者-分区
(1)便于合理使用存储资源,每个partition在一个Broker上存储,可以把海量的数据按照分区切割一块一块数据存储在多台broker上。合理控制分区的任务,可以实现负载均衡的效果。(2)提高并行度,生产者可以分区为单位发送数据;消费者可以以分区单位进行消费数据。partition= order.hashcode()/partition的数量.非常简单,只需要将表名作为key即可。比如 order表。如果将订单的数据发送一个指定的分区?原创 2023-06-01 16:15:35 · 78 阅读 · 0 评论 -
kafka-生产者-同步函数
只有当下图中的Qqueue 中的数据被成功发送到 kafka broker的partition中,生产者才会把外部的数据 send到 Dquue。原创 2023-06-01 15:30:51 · 40 阅读 · 0 评论 -
kafka-生产者-回调异步发送
【代码】kafka-生产者-回调异步发送。原创 2023-06-01 15:13:48 · 661 阅读 · 0 评论 -
kafka生产者之异步发送
是指外部的消息 经过,拦截器,序列化器,分区器异步发送到 Dquene中。原创 2023-06-01 14:39:23 · 588 阅读 · 0 评论 -
kafk生产者原理(发送流程)
发送流程原创 2023-06-01 14:28:51 · 41 阅读 · 0 评论 -
kafka基础架构
consumer: 消费者,向kafka broker去消息的客户端。product: 生产者,kafka broker 发消息的客户端。原创 2023-06-01 14:20:48 · 28 阅读 · 0 评论 -
kafka 基础命令行操作
【代码】kafka 如梦命令行操作。原创 2023-06-01 14:09:51 · 40 阅读 · 0 评论