Kafka实战
文章平均质量分 73
Kafka实战
jannals
没有失败,只有缓慢的成功
展开
-
kafka之运维命令
kafka版本声明常用命令查看kafka版本主题生产消费集群压测命令kafka版本声明使用的是kafka 0.10.0.1版本常用命令查看kafka版本查看kafka版本# find / -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*'主题创建Topi...原创 2018-09-10 11:46:19 · 1011 阅读 · 0 评论 -
kafka之消息格式
文章目录Kafka版本消息格式V0版本V1版本Message SetV0与V1的缺陷V2版本Kafka版本kafka版本1.1.1,可能绝大部分也适用于kafka 0.10.x及以上版本。消息格式目前Kafka消息格式有三个版本,V0、V1和V2。V0版本V0版本主要是指Kafka0.10.0.0之前的版本,是kafka最早的消息版本字段含义CRC(4B):...原创 2019-12-18 22:22:12 · 2977 阅读 · 0 评论 -
Kafka之参数配置
文章目录Kafka版本Producer参数配置bootstrap.serverskey.serializervalue.serializeracksbuffer.memorymax.block.mscompression.typeretriesretry.backoff.msbatch.size与linger.msmax.request.sizerequest.timeout.msclient.i...原创 2019-12-18 22:19:56 · 3264 阅读 · 0 评论 -
Kafka之重新消费数据
文章目录kafka版本声明修改`offset(偏移量)`通过使用不同的`groupId`kafka版本声明使用的是kafka 0.10.0.1版本修改offset(偏移量)在使用consumer消费的时候,每个topic会产生一个offset(偏移量),offset(偏移量)是在kafka服务端__consumer__offsets这个Topic下存储的,我们修改这个offset(...原创 2018-09-22 15:51:03 · 16801 阅读 · 5 评论 -
Kafka之Consumer Rebalance
文章目录Kafka版本rebalancerebalance策略rebalance generationrebalance协议rebalance流程rebalance监听器Kafka版本kafka版本1.1.1,可能绝大部分也适用于kafka 0.10.x及以上版本。rebalanceConsumerGroup(消费组)里的Consumer(消费者)共同读取topic(主题)的p...原创 2019-12-18 22:12:17 · 920 阅读 · 0 评论 -
Kafka之Consumer
文章目录kafka版本声明基础消费组rebalance提交偏移量测试不提交情况kafka版本声明使用的是kafka 0.10.0.1版本参考文献《kafka权威指南》基础Push(推送)方式是broker接收到消息后,主动把消息推送到Consumer(消费者)优点:实时性高缺点:加大broker的工作量,影响broker性能.Consumer(消费者)的处理能...原创 2018-09-22 15:33:50 · 417 阅读 · 0 评论 -
Kafka之精确一次处理语义
文章目录精确一次处理语义幂等性实现原理精确一次处理语义消息处理语义最多一次(at most once):消息可能丢失也可能被处理,但最多只会处理一次至少一次(at least once):消息不会丢失,但可能被处理多次精确一次(exactly once):消息被处理且只会被处理一次producer:在0.11.0.0之前,kafka producer默认提供至少一次...原创 2019-12-18 22:16:39 · 1176 阅读 · 0 评论 -
kafka之Producer
文章目录Kafka版本Java API同步发送异步发送分区策略拦截器多线程多进程发送防止producer消息丢失Kafka版本kafka版本1.1.1,可能绝大部分也适用于kafka 0.10.x及以上版本。Java API发送的一般步骤构造配置信息,即java.util.Properties对象使用Properties对象构造KafkaProducer实例构造待发送...原创 2019-12-18 22:25:31 · 298 阅读 · 0 评论 -
kafka之基础知识
文章目录架构主题与分区kafka概要设计吞吐量和延迟版本合适的版本架构kafka集群架构图Broker: 一个kafka服务实例, 一个或者多个Broker组成一个kafka集群Producer: 生产者,即消息发送方,负责创建并发送消息到Broker中Consumer:消费者,即消息接收方,负责接收消息并做业务逻辑处理主题与分区kafka中消息以top...原创 2019-12-18 22:18:24 · 181 阅读 · 0 评论