Kafka
飞鸟与鹿
这个作者很懒,什么都没留下…
展开
-
Kafka的数据存储结构及命令行操作
一、Kafka的数据存储结构由于生产者生产的消息会不断追加到log文件末尾,为防止log文件过大导致数据定位效率低下,Kafka采取了分片和索引机制,将每个partition分为多个segment。每个segment对应两个文件:“.index”文件和“.log”文件。这些文件位于一个文件夹下,该文件夹的命名规则为:topic名称-分区序号。例如,test这个topic有三个分区,则其对应的文件夹为test-0,test-1,test-2。index和log文件以当前segment的第一条消原创 2020-11-16 23:25:26 · 508 阅读 · 0 评论 -
Kafka是什么?为什么拥有异步、削峰、解耦?有哪些角色?
一、Kafka是什么?Kafka是一个分布式消息中间件,支持分区的、多副本的、多订阅者的、基于zookeeper协调的分布式消息系统。通俗来说: kafka就是一个存储系统,存储的数据形式为“消息”;它的主要作用类似于蓄水池,起到一个缓冲作用;二、为什么拥有解耦、异步、削峰?(1)解耦传统模式:传统模式的缺点:系统间耦合性太强,如上图所示,系统A在代码中直接调用系统B和系统C的代码,如果将来D系统接入,系统A还需要修改代码,过于麻烦!中间件模式:中间件模式.原创 2020-11-14 23:21:47 · 4733 阅读 · 0 评论