- 博客(3)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 Kafka文件的存储机制
同一个topic下有多个不同的partition，每个partition为一个目录，partition命名的规则是topic的名称加上一个序号，序号从0开始。 每一个partition目录下的文件被平均切割成大小相等（默认一个文件是500兆，可以手动去设置）的数据文件， 每一个数据文件都被称为一个段（segment file），但每个段消息数量不一定相等，这种特性能够使得老的segment...
2019-05-22 11:32:02
237
转载 kafka在高并发情况下常见问题
1、kafka在高并发的情况下,如何避免消息丢失和消息重复? 消息丢失解决方案: 首先对kafka进行限速， 其次启用重试机制，重试间隔时间设置长一些，最后Kafka设置acks=all，即需要相应的所有处于ISR的分区都确认收到该消息后，才算发送成功 消息重复解决方案: 消息可以使用唯一id标识 生产者（ack=all 代表至少成功发送一次) 消费者 （offset手动提交，业务...
2019-05-21 17:32:25
2349
原创 Kafka 中各种分配策略
分区在集群中的分配策略 将所有broker（n个）和partition排序 将第i个Partition分配到第（i mode n）个broker上 Producer 把消息发送给对应分区策略 当key和partition都为空时，消息随机发送到各个分区（各个版本会有不同，有的是采用轮询的方式，有的是随机，有的是一定时间内只发送给固定partition,隔一段时间后随机...
2019-05-21 17:28:56
3616
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人