kafka
文章平均质量分 70
cclucc
吃吃喝喝人生辽阔
展开
-
为什么 Kafka 那么快
一 .生产者生产数据 1、顺序写入 2、Memory Mapped Files(Kafka的数据并不是实时的写入硬盘,它充分利用了现代操作系统分页存储来利用内存提高I/O效率) 它的工作原理是直接利用操作系统的Page来实现文件到物理内存的直接映射。完成映射之后你对物理内存的操作会被同步到硬盘上(操作系统在适当的时候)。写到mmap中的数据并没有被真正的写到硬盘,操作系统会在程序主动调用fl...原创 2018-09-21 18:18:20 · 315 阅读 · 0 评论 -
kafka学习笔记1
下面以一个Kafka集群中4个Broker举例,创建1个topic包含4个Partition,2 Replication;数据Producer流动如图所示: clipboard (2).png 当集群中新增2节点,Partition增加到6个时分布情况如下: clipboard (3).png Producer在发布消息到某个Partition时,先通过ZooKeeper找到该Pa...原创 2018-09-21 18:28:22 · 144 阅读 · 0 评论 -
kafka学习笔记2
1、kafka分布式的情况下如何保证消息的顺序性 kafka并不适用对数据时序性要求严格的场景 Kafka的做法是提供消息队列,让生产者单往队列的末尾添加数据,让多个消费者从队列里面依次读取数据然后自行处理 【生产】kafka的分布式单位是partition。同一个partition内的数据可以保证时序。不同partition之间无法保证消息的顺序性。可以设置producer生产messag...原创 2018-09-21 18:29:32 · 631 阅读 · 0 评论 -
kafka监控
编辑文章 监控策略 1、Kafka总体监控 leader 选举频率:kafka.controller:type=ControllerStats,name=LeaderElectionRateAndTimeMs 2、Kafka Broker监控 kafka集群中Broker列表,broker运行状况,包括node下线,活跃数量 Broker是否提供服务 失败的生产消息请求数量:阈值? 失败...原创 2018-09-21 18:34:04 · 464 阅读 · 0 评论