Kafka
文章平均质量分 76
AlferWei
一个奋斗在编程路上的程序员。
展开
-
Kafka 消息偏移量的维护
Kafka是大数据领域常用的消息队列,其高效的吞吐量和分布式容错等特性是其收到青睐的重要原因。kafka消息的位置用好Kafka,维护其消息偏移量对于避免消息的重复消费与遗漏消费,确保消息的Exactly-once是至关重要的。 kafka的消息所在的位置Topic、Partitions、Offsets三个因素决定。 Kafka消费者消费的消息位置还与consumer的group.id有关。co原创 2017-08-02 17:11:02 · 16645 阅读 · 4 评论 -
Kafka限流
客户端认证如果kafka客户端是认证的,那么可以使用userId和clientId两种认证方式。如果没有认证只能使用clientId限流。bin/kafka-configs.sh --zookeeper localhost:2181 --alter --add-config 'producer_byte_rate=1048576,consumer_byte_rate=1024' --entity-...原创 2018-04-09 22:27:11 · 5386 阅读 · 0 评论 -
Kafka生产与消费实战
Kafka topictopic是由一些Partition Logs(分区日志)组成,其组织结构如下图所示:Partition、Replication和Leader每一个topic都可以设置它的partition数量和replication数量,Producer在生产数据时,会按照一定规则(这个规则是可以自定义的)把消息发布到topic的各个partition中。topic要实现容错需要设置多个r...原创 2018-04-03 23:10:51 · 1006 阅读 · 0 评论 -
如何选择Kafka的分区数和消费者个数
Kafka的分区数是不是越多越好?一条消息如何知道要被发送到哪个分区?Consumer个数与分区数有什么关系?原创 2018-06-06 15:40:20 · 29657 阅读 · 0 评论 -
Kafka stream实现word count
kafka stream实现kafka数据流的word count示例。import org.apache.kafka.clients.consumer.ConsumerConfig;import org.apache.kafka.common.serialization.Serdes;import org.apache.kafka.streams.KafkaStreams;import o...原创 2018-06-07 18:43:33 · 1540 阅读 · 0 评论