Kafka消息和offset存储

前言

Kafka具有存储功能，默认保存数据时间为7天或者大小1G，也就是说kafka broker上的数据超7天或者1G，就会被清理掉。这些数据存放在broker服务器上，以log文件的形式存在。

准备工作

topic
我添加了一个topic名字为demo1。为了方便观察，它只有一个分区，一个副本。

kafka-topics.sh --zookeeper localhost:2181/kafka1 --desc --topic demo1

producer

通过producer推送了11条数据

kafka-console-producer.sh --broker-list localhost:9092 --topic demo1

 

日志

log的路径配置在conf/server.properties配置文件中，我的日志路径配置在log1文件夹下。log文件的命名那一长串0，是这个日志文件的offset位置。当日志文件达到时间或者大小的上限时，就会生成下一个日志文件，命名的就是下一个offset位置了。

查看日志内容

log日志文件是二进制文件，