- 博客(5)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 Kafka技术分享
一、什么是kafka： Kafka 是一种高吞吐量的分布式发布订阅消息系统。 Scala编写的。 二、kafka的特点： * 通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 * 高吞吐量[2] ：即使是非常普通的硬件Kafka也可以支持每秒数百万[2] 的消息。 * 支持通过Kafka服务器和
2017-05-08 11:48:10
800
转载 Kafka中Topic级别配置
一、Kafka中topic级别配置 1、Topic级别配置 配置topic级别参数时，相同(参数)属性topic级别会覆盖全局的，否则默认为全局配置属性值。 创建topic参数可以设置一个或多个--config "Property(属性)",下面是创建一个topic名称为"my-topic"例子，它设置了2个参数max message size 和 flush rate. (A
2017-05-08 10:54:32
5043
转载 apache kafka系列之在zookeeper中存储结构
1.topic注册信息 /brokers/topics/[topic] : 存储某个topic的partitions所有分配信息 Schema: { "version": "版本编号目前固定为数字1", "partitions": { "partitionId编号": [ 同步副本组brok
2017-05-08 10:37:56
386
转载 转载-zookeeper在kafka中的作用
1)Broker注册 Broker在zookeeper中保存为一个临时节点，节点的路径是/brokers/ids/[brokerid],每个节点会保存对应broker的IP以及端口等信息. 2)Topic注册 在kafka中,一个topic会被分成多个区并被分到多个broker上，分区的信息以及broker的分布情况都保存在zookeeper中，根节点路径为/brokers/
2017-05-08 10:36:43
6698
3
原创 zookeeper在kafka中的作用
至于kafka为什么使用zk，你首先要知道zk的作用, 作为去中心化的集群模式。 需要要消费者知道现在那些生产者（对于消费者而言，kafka就是生产者）是可用的。 如果没了zookeeper消费者如何知道呢？ 如果每次消费者在消费之前都去尝试连接生产者测试下是否连接成功，效率呢？ 所以kafka需要zk，在kafka的设计中就依赖了zk了。 详细的可参考： http://blog.
2017-05-08 10:29:14
6975
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人