kafka
m0_37914799
I believe i can fly, I can touch the sky.
展开
-
kafka模拟生产者-消费者以及自定义分区
基本概念 kafka中的重要角色 broker:一台kafka服务器就是一个broker,一个集群可有多个broker,一个broker可以容纳多个topic topic:可以理解为一个消息队列的名字 partition:分区,为了实现扩展性,一个topic可以分布到多个broker上,一个topic可以被分成多个partition,partition中的每条消息 都会被分配一个有序的...原创 2018-11-29 00:02:33 · 1500 阅读 · 0 评论 -
Kafka Offset管理及语义概念的理解
引语 消费者需要自己保留一个offset,从kafka 获取消息时,只拉去当前offset 以后的消息。 kafka offset的管理方式分为两种保存offset和不保存offset,一般保存offset采用的是外部存储保护,这都要根据具体的业务情况来定。使用外部存储保存,我们可把offset保存到Checkpoint, Hbase, Zookeeper, Kafka,接下来我们就来offs...原创 2018-12-04 23:53:00 · 1959 阅读 · 0 评论