qq_33366098的博客

KafkaConsumer概念KafkaConsumer向Kafka订阅主题，并从订阅的主题上接收消息。需求：假设我们有 个应用程序需要从 Kafka 主题读取消息井验证这些消息，然后再把它们保存起来。应用程序需要创建一个消费者对象，订阅主题并开始接收消息，然后验证消井保存结果。过了一阵子，生产者往主题写入消息的速度超过了应用程序验证数据的速度，这个时候该怎么办？如果只使用单个消费者处理消...

集群成员关系Kafka 使用 Zookeeper 来维护集群成员的信息。每个 broker 都有一个唯一标识符，这个标识符可以在配置文件里指定 ，也可以自动生成。在 broker 启动的时候，它通过创建临时节点把自己的 ID 注册到 Zookeeper。 Kafka 组件（指生产者、消费者、broker）订阅 Zookeeper 的／brokers/ids 路径(broker在Zookeeper...

生成者概览在不同的需求场景下，对于kafka生产者的配置也是不同的。多样的使用场景意味着多样的需求：是否每个消息都很重要？是否允许丢失 小部分消息？偶尔出现重复消息是否可以接受？是否有严格的延迟和吞吐量要求？下图是kafka生产者消息发送过程：我们从创建 ProducerRecord 对象开始， ProducerRecord 对象需要包含目标主题和要发的内容。我们还可以指定键或分区。在...

介绍Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linked...