Kafka
文章平均质量分 88
蜡笔小新DD
enjoy
展开
-
kafka Partition分发策略
为了更好的实现负载均衡和消息的顺序性,Kafka Producer可以通过分发策略发送给指定的Partition。Kafka保证在partition中的消息是有序的。Kafka Java客户端有默认的Partitioner。转载 2017-04-30 16:16:13 · 6826 阅读 · 0 评论 -
apache kafka系列之在zookeeper中存储结构
1.topic注册信息/brokers/topics/[topic] :存储某个topic的partitions所有分配信息Schema:{ "version": "版本编号目前固定为数字1", "partitions": { "partitionId编号": [ 同步副本组brok转载 2017-05-08 10:37:56 · 376 阅读 · 0 评论 -
Kafka中Topic级别配置
一、Kafka中topic级别配置1、Topic级别配置 配置topic级别参数时,相同(参数)属性topic级别会覆盖全局的,否则默认为全局配置属性值。 创建topic参数可以设置一个或多个--config "Property(属性)",下面是创建一个topic名称为"my-topic"例子,它设置了2个参数max message size 和 flush rate.(A转载 2017-05-08 10:54:32 · 4956 阅读 · 0 评论 -
转载-zookeeper在kafka中的作用
1)Broker注册 Broker在zookeeper中保存为一个临时节点,节点的路径是/brokers/ids/[brokerid],每个节点会保存对应broker的IP以及端口等信息. 2)Topic注册 在kafka中,一个topic会被分成多个区并被分到多个broker上,分区的信息以及broker的分布情况都保存在zookeeper中,根节点路径为/brokers/转载 2017-05-08 10:36:43 · 6686 阅读 · 3 评论 -
zookeeper在kafka中的作用
至于kafka为什么使用zk,你首先要知道zk的作用, 作为去中心化的集群模式。需要要消费者知道现在那些生产者(对于消费者而言,kafka就是生产者)是可用的。如果没了zookeeper消费者如何知道呢?如果每次消费者在消费之前都去尝试连接生产者测试下是否连接成功,效率呢?所以kafka需要zk,在kafka的设计中就依赖了zk了。详细的可参考:http://blog.原创 2017-05-08 10:29:14 · 6949 阅读 · 1 评论 -
kafka 技术分享
一、什么是kafka: Kafka 是一种高吞吐量的分布式发布订阅消息系统。 Scala编写的。 二、kafka的特点: * 通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 * 高吞吐量[2] :即使是非常普通的硬件Kafka原创 2017-04-30 16:52:06 · 1290 阅读 · 0 评论 -
Kafka技术分享
一、什么是kafka:Kafka 是一种高吞吐量的分布式发布订阅消息系统。Scala编写的。二、kafka的特点:* 通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。* 高吞吐量[2] :即使是非常普通的硬件Kafka也可以支持每秒数百万[2]的消息。* 支持通过Kafka服务器和原创 2017-05-08 11:48:10 · 781 阅读 · 0 评论