kafka
Michael_Chou_Rider
点滴积累
展开
-
深入了解kafka(二)
1.kafka中topic的概念在kafka中,topic只是存储消息的一个逻辑的概念,他并没有实际的文件存在磁盘上,可以认为是某一类型的消息的集合。所有发送到kafka上的消息都一个类型,这个类型就是他的topic。在物理上来说,不同的topic的消息是分开存储的。同时,一个topic可以有多个producer和多个consumer。2.kafka中partition的概念每个topic...原创 2019-04-16 17:12:11 · 442 阅读 · 0 评论 -
深入了解kafka(三)
1.kafka消息的存储原理1.简要说明:在kafka中,一个topic下面会有多个partition,partition在磁盘上是存在物理路径的,在partition目录下存放着kafka对应的日志文件。(我们存了哪些文件)总结我们partition下存了哪些文件:index,log.timeindex2.kafka会使用分段的方式(LogSegment)来存储数据,LogSement只...原创 2019-04-17 11:47:28 · 410 阅读 · 0 评论 -
深入了解kafka(一)
1.什么是kafka1.kafka是一筐高效的消息发布订阅消息中间件,具有高吞吐量,内置分区,冗余,容错等等的特点2.他使用的是Scala语言编写完成的。2.kafka有什么应用场景1.用户行为跟踪2.日志收集系统:ELKK3.kafka的架构:1.一个kafka包含会包含若干个producer(消息的生产者),若干个broker(支持kafka进行水平扩展),若干个consumer...原创 2019-04-15 16:07:15 · 367 阅读 · 0 评论 -
深入了解kafka(四)
一.学习kafka的副本机制(replic)1.为什么我们需要副本机制我们知道kafka的每一个topic下面都可以多个partition,各个partition会均匀的分布在broker上面,但是我们每一个partition都只有一个,如果某一个broker挂掉了之后,那么这个broker上面的消息就没有办法被消费了,所以kafka为了提高partition的可靠性而提出了副本的概念,通过副...原创 2019-04-19 11:19:26 · 379 阅读 · 0 评论