![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
周幽王丶
善战者,无赫赫战功
展开
-
flink消费kafka protobuf格式数据
总结:其实跟正常的读kafka一样,只是多了一个反序列化的步骤。原创 2023-03-29 19:54:56 · 465 阅读 · 0 评论 -
kafka内部topic __consumer_offsets(一)
kafka __consumer_offsets介绍kafka在0.10.x版本后默认将消费者组的位移提交到自带的topic__consumer_offsets里面,当有消费者第一次消费kafka数据时就会自动创建,它的副本数不受集群配置的topic副本数限制,分区数默认50(可以配置),默认压缩策略为compact结构keyversion : 版本字段,不同kafka版本的vers...原创 2019-11-23 14:22:24 · 3203 阅读 · 0 评论 -
kafka删除topic
删除kafka topic及其数据,严格来说并不是很难的操作。但是,往往给kafka 使用者带来诸多问题,发现都会偶然出现无法彻底删除kafka的情况。前提:kafka必须配置参数delete.topic.enable=true如果需要被删除topic 此时正在被程序 produce和consume,则这些生产和消费程序需要停止执行删除命令./bin/kafka-topics --...原创 2019-01-09 21:01:24 · 307 阅读 · 0 评论 -
kafka消息格式
kafka发送消息是有消息格式的,有三个版本V0,V1,V2V0版本:主要指kafka0.10.0.0之前的版本,是kafka最早的消息版本,其消息格式如下,一共7个字段:CRC:是整条消息的CRC32校验,占用4个字节,但是CRC校验值发送到broker端,可能消息格式会变,那么crc值也会变,等consumer消费了数据后,crc可能已经变化了几个版本了,所以这个crc值没有太大作...原创 2019-01-09 21:04:49 · 533 阅读 · 0 评论 -
Kafka非常实用的操作命令总结
Kafka常用操作命令文章目录查看当前服务器中的所有topic创建topictopic级别修改修改topic数据保存时间对分区数进行修改topic分区重分配删除topic通过shell命令发送消息通过shell消费消息消费制定offset的消息查看消费位置查看Topic查看某个Topic的详情查看topic分区以及分区的offset,-1表示显示最大条数(初始offset为0时),-2查看每个分...原创 2019-04-24 23:47:29 · 396 阅读 · 0 评论