衣舞晨风

勿忘初心

Kafka Partition分发策略

今天突然想起一个问题,当producer往kafka写数据的时候,如果不指定Patition,也没有指定Key的话,那么它是怎么做的负载均衡? 通过查看kafka源码,发现Kafka Java客户端有默认的partition分配机制。 实现如下: /** * Compute t...

2018-11-28 19:21:29

阅读数 52

评论数 0

Kafka 知识点小结

因为Kafka的每个Topic、每个分区都会对应一个物理文件。当Topic数量增加时,消息分散的落盘策略会导致磁盘IO竞争激烈成为瓶颈。 当producer向kafka写入基于key的消息时,kafka通过key的hash值来确定消息需要写入哪个具体的分区。通过这样的方案,kafka能够确保相同...

2018-02-25 10:38:13

阅读数 256

评论数 0

Kafka设计解析(二)- Kafka High Availability

Kafka从0.8版本开始提供High Availability机制,从而提高了系统可用性及数据持久性。本文从Data Replication和Leader Election两方面介绍了Kafka的HA机制。 原创文章,转载请务必将下面这段话置于文章开头处。(已授权InfoQ中文站发布) 本文...

2018-02-04 16:23:25

阅读数 140

评论数 0

Kafka剖析(一):Kafka背景及架构介绍

背景介绍 Kafka创建背景 Kafka是一个消息系统,原本开发自LinkedIn,用作LinkedIn的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础。现在它已被多家不同类型的公司 作为多种类型的数据管道和消息系统使用。 活动流数据是几乎所有站点在对其...

2018-02-04 16:15:43

阅读数 250

评论数 0

kafka 常用命令

1、获取kafka中所有组./kafka-consumer-groups.sh --bootstrap-server 10.10.16.10:9092 --list2、查看kafka消费端堆积量./kafka-consumer-groups.sh --bootstrap-server 10.1...

2017-12-06 08:27:21

阅读数 3726

评论数 0

Kafka 基本概念

1、Producer &Broker& Consumer 上图来自:郭俊(Jason Guo) Broker:Kafka集群包含一个或多个实例,每个实例称为Broker 三者之间的交互方式是: Producer推送数据给Broker Consumer从Broker拉取...

2017-05-07 07:28:46

阅读数 563

评论数 0

提示
确定要删除当前文章?
取消 删除