分布式系统
文章平均质量分 94
iteye_16582
这个作者很懒,什么都没留下…
展开
-
Kafka内核理解:消息的收集/消费机制
一、Kafka数据收集机制 Kafka集群中由producer负责数据的产生,并发送到对应的Topic;Producer通过push的方式将数据发送到对应Topic的分区 Producer发送到Topic的数据是有key/value键值对组成的,Kafka根据key的不同的值决定数据发送到不同的Partition,默认采用Hash的机制发送数据到对应Topic的不同Partition中,配置...原创 2017-03-20 11:04:06 · 269 阅读 · 0 评论 -
Kafka简介及主要机制
一、简介Kafka是一种分布式的,基于发布/订阅的消息系统 主要特性:1)消息持久化 要从大数据中获取真正的价值,那么不能丢失任何信息。Apache Kafka设计上是时间复杂度O(1)的磁盘结构,它提供了常量时间的性能,即使是存储海量的信息(TB级)。2)高吞吐 记住大数据,Kafka的设计是工作在标准硬件之上,支持每秒数百万的消息。3)分布式Kafka明确支持在Kafka服务器上的消息分区,...原创 2017-03-20 11:25:51 · 323 阅读 · 0 评论