kafka
挨踢正能量
每天进步一点点!
展开
-
1.初识kafka
本文转自:http://blog.csdn.net/tangyongzhe/article/details/45788937 kafka是一个分布式的消息队列由scala编写,不同于传统的一些消息队列,kafka的设计理念与众不同。 1、kafka的特点 。快速 单台kafka的broker实例能够支撑几千台机器每秒几百兆字节的读写,如果组成集群性能会更强进,从很多人的测试情况来看kafk...转载 2018-01-04 20:41:57 · 269 阅读 · 0 评论 -
3.Kafka整体结构图、Consumer与topic关系、Kafka消息分发、Consumer的负载均衡、Kafka文件存储机制、Kafka partition segment等(来自学习资料)
1. Kafka整体结构图 Kafka名词解释和工作方式 Producer :消息生产者,就是向kafka broker发消息的客户端。 Consumer :消息消费者,向kafka broker取消息的客户端 Topic :可以理解为一个队列。 Consumer Group (CG):这是kafka用来实现一个topic消息的广播(发给所有的consumer)和单播(发给任意一个c...转载 2018-03-11 15:09:30 · 468 阅读 · 0 评论 -
2.Kafka中topic的Partition,Kafka为什么这么快,Consumer的负载均衡及consumerGroup的概念(来自学习笔记)
1.1. Kafka中topic的Partition 在Kafka文件存储中,同一个topic下有多个不同partition,每个partition为一个目录,partiton命名规则为topic名称+有序序号,第一个partiton序号从0开始,序号最大值为partitions数量减1。 每个partion(目录)相当于一个巨型文件被平均分配到多个大小相等segment(段)数据文件中...转载 2018-03-11 15:49:47 · 894 阅读 · 0 评论 -
4.Kafka Producer机制优化-提高发送消息可靠性
名称解释: Broker:负责消息的存储和转发,也可以叫消息中介节点 Topic:每种消息的分类叫做主题(Topic)。 Partition:每一个Topic被切分为多个Partitions。 背景 Producer构造Message对象时,传入key参数,当Producer发送Message,会根据key确定目标Partition,当Kafka集群中某个Partition所有存活的节点都失...转载 2018-03-11 16:55:13 · 521 阅读 · 0 评论 -
5.kafka确保数据不丢失讨论
转载 2018-03-11 17:03:51 · 446 阅读 · 0 评论