![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 93
Lzjusc2017
这个作者很懒,什么都没留下…
展开
-
图解Kafka架构学习笔记(二)
如果不引入segment,那么一个partition只对应一个文件(log),随着消息的不断发送这个文件不断增大,由于kafka的消息不会做更新操作都是顺序写入的,如果做消息清理的时候只能删除文件的前面部分删除,不符合kafka顺序写入的设计,如果多个segment的话那就比较方便了,直接删除整个文件即可保证了每个segment的顺序写入。Segment中核心文件是index索引文件和log数据文件,既然是索引文件当然是为了更高效的定位到数据,那么索引文件和数据文件中到底是存了那些数据?原创 2024-03-25 17:47:02 · 1123 阅读 · 0 评论 -
图解Kafka架构学习笔记(三)
这里推荐使用Docker Compose快速搭建一套本地开发环境。以下文件用来搭建一套单节点zookeeper和单节点kafka环境,并且在8080端口提供kafka-ui管理界面。参考资料将上述文件在本地保存,在同一目录下执行以下命令启动容器。如果快速启动的话,那么可以参考docker的方式容器启动后,使用浏览器打开即可看到如下界面。点击页面右侧的按钮,配置kafka服务连接信息。填写完信息后,点击页面下方的“Submit”按钮提交即可。原创 2024-03-24 16:58:14 · 1085 阅读 · 0 评论 -
图解Kafka架构学习笔记(一)
在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。原创 2024-03-17 21:46:10 · 1151 阅读 · 2 评论