衣舞晨风

1、Producer &Broker& Consumer 上图来自：郭俊(Jason Guo) Broker：Kafka集群包含一个或多个实例，每个实例称为Broker 三者之间的交互方式是： Producer推送数据给Broker Consumer从Broker拉取数据。 2、Topic逻辑概念，同一个Topic的消息可分布在一个或多个节点（Broker）上一个Topic

1、获取kafka中所有组./kafka-consumer-groups.sh --bootstrap-server 10.10.16.10:9092 --list2、查看kafka消费端堆积量./kafka-consumer-groups.sh --bootstrap-server 10.10.16.10:9092 --group group1111 --describe将 topic 的 o

背景介绍Kafka创建背景Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。现在它已被多家不同类型的公司作为多种类型的数据管道和消息系统使用。活动流数据是几乎所有站点在对其网站使用情况做报表时都要用到的数据中最常规的部分。活动数据包括页面访问量（Page View）、被查看...

Kafka从0.8版本开始提供High Availability机制，从而提高了系统可用性及数据持久性。本文从Data Replication和Leader Election两方面介绍了Kafka的HA机制。本文转发自技术世界，原文链接　http://www.jasongj.com/2015/04/24/KafkaColumn2摘要　　Kafka在0.8以前的版本中，并不提供Hig...

因为Kafka的每个Topic、每个分区都会对应一个物理文件。当Topic数量增加时，消息分散的落盘策略会导致磁盘IO竞争激烈成为瓶颈。当producer向kafka写入基于key的消息时，kafka通过key的hash值来确定消息需要写入哪个具体的分区。通过这样的方案，kafka能够确保相同key值的数据可以写入同一个partition。kafka的这一能力对于一部分应用是极为重要的，例如对...

今天突然想起一个问题，当producer往kafka写数据的时候，如果不指定Patition，也没有指定Key的话，那么它是怎么做的负载均衡？通过查看kafka源码，发现Kafka Java客户端有默认的partition分配机制。实现如下： /** * Compute the partition for the given record. * * @param...

本文转发自技术世界，原文链接　http://www.jasongj.com/kafka/transaction/一、写在前面的话本文所有Kafka原理性的描述除特殊说明外均基于Kafka 1.0.0版本。二、为什么要提供事务机制Kafka事务机制的实现主要是为了支持Exactly Once即正好一次语义的原子性有状态操作的可恢复性2.1 Exactly Once《Kafk...