- 博客(5)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 RocketMQ学习(二)——重要参数和主从消息同步
生产者核心参数producerGroup： 组名。一个应用（JVM）中组名不能重复。defaultTopicQueueNums： 默认的topic对于Queue的数量，默认是4。sendMsgTimeout： 生产者发送消息的超时时间。compressMsgBodyOverHowmuch： 消息超过多大开始进行压缩，默认压缩字节4096。retryTimesWhenSendFailed：...
2019-10-18 18:07:57
609
原创 Kafka学习(四)——生产者
日志存储Kafka 中的消息是以主题为基本单位进行归类的，各个主题在逻辑上相互独立。每个主题又可以分为一个或多个分区，分区的数量可以在主题创建的时候指定，也可以在之后修改。每条消息在发送的时候会根据分区规则被追加到指定的分区中，分区中的每条消息都会被分配一个唯一的序列号，也就是通常所说的偏移量（offset），具有4个分区的主题的逻辑结构见下图。如果分区规则设置得合理，那么所有的消息可以均匀...
2019-10-16 16:13:24
196
原创 Kafka学习(三)——消费者
消费者与消费组与生产者对应的是消费者，应用程序可以通过 KafkaConsumer 来订阅主题，并从订阅的主题中拉取消息。不过在使用 KafkaConsumer 消费消息之前需要先了解消费者和消费组的概念，否则无法理解如何使用 KafkaConsumer。本章首先讲解消费者与消费组之间的关系，进而再细致地讲解如何使用 KafkaConsumer。消费者（Consumer）负责订阅 Kafk...
2019-10-09 19:21:19
254
原创 Kafka学习(二)——生产者
从编程的角度而言，生产者就是负责向 Kafka 发送消息的应用程序。在 Kafka 的历史变迁中，一共有两个大版本的生产者客户端：第一个是于 Kafka 开源之初使用 Scala 语言编写的客户端，我们可以称之为旧生产者客户端（Old Producer）或 Scala 版生产者客户端；第二个是从 Kafka 0.9.x 版本开始推出的使用 Java 语言编写的客户端，我们可以称之为新生产者客户端...
2019-10-09 10:57:29
204
原创 Kafka学习(一)——初识与入门
初识KafkaKafka 起初是 由 LinkedIn 公司采用 Scala 语言开发的一个多分区、多副本且基于 ZooKeeper 协调的分布式消息系统，现已被捐献给 Apache 基金会。基本概念一个典型的 Kafka 体系架构包括若干 Producer、若干 Broker、若干 Consumer，以及一个 ZooKeeper 集群，如下图所示。其中 ZooKeeper 是 Kafka ...
2019-10-08 11:49:55
277
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人