kafka中的几个常见问题

#kafka中的几个常见问题 V1版
1,每个topic的分区中有多个segment,一个分区会被分成相同大小数据数量不等的segment,数据的生命周期就是指的是segment的生命周期

2,数据的存储机制:

首先是Broker接受到数据,将数据放到操作系统的缓存里,(pagecache),

pagecache会尽可能多的使用空闲内存,

使用sendfile技术尽可能多的减少操作和应用程序之间地重复缓存

写数据的时候使用的是顺序写入,顺序写入的速度可达600M/s

3,kafka是怎么负载均衡的呢?

首先获取Consumer消费的起始分区号,然后计算出Consumer要消费的分区数量,用起始分区号的hash值%分区数,

目的是更好的消费数据

4,数据是怎么分发的?

kafka默认调用自己的分区器(DefaultPartitioner),当然也可以自定义分区器,需要实现partitioner特质,实现partition方法

5,怎么保证数据不丢失呢?

kafka的多副本机制就保证了数据的不丢失,副本数是在创建topic是指定的。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值