kafka
关注
分享
扫一扫
爬蜥
这个作者很懒，什么都没留下…
展开
-
kafka中的消费者
把书读薄(Kafka权威指南 第四章)消费者是与消费分区是如何对应的？消费者从属于一个消费群组，一个群组里的消费者订阅同一个主题，每个消费者接受主题一部分分区的消息。消费者的数量应该小于等于分区的数量，如果消费者的数量超过分区数，那么超过部分会被闲置。不同消费组群互相不影响，如果一个应用要处理多个主题，，可以让多个主题公用一个消费者群组能不能不要消费组？可以。一个消费者可以自己订阅主题并加入消费组...原创 2018-04-30 13:31:10 · 463 阅读 · 0 评论 -
kafka集群、请求、存储
把书读薄(Kafka权威指南 第五章)单节点与集群关系1. 新建节点；每个broker都有一个唯一的标识符，新的broker启动的时候，会创建一个临时节点，把自己的ID注册到zk,如果zk中已经有一个一样的ID存在，会得到错误，注册失败。如果注册成功，且集群中有着一个与新ID一样的旧ID副本，那么新的broker会立即加入集群，并拥有与旧broker相同的分区和主题2. 节点异常/关闭；启动时穿件...原创 2018-04-30 15:47:57 · 615 阅读 · 0 评论 -
kafka数据可靠传输
把书读薄(Kafka权威指南 第六章)kafka对消息可靠性做出的保证1. 保证分区消息的顺序。同一个生产者给同一个分区写消息一定是有序的2. 得去的所有的同步副本写入了消息时，才会被认为已经提交3. 只要有一个副本是活跃的消息就不会丢失4. 消费者只能提取已经提交的消息broker对消息可靠性的处理1. 复制系数。即一个消息应该有多少个副本【一般3个】，这些副本在机架上如何分布，保证不会应为1个...原创 2018-04-30 16:34:57 · 305 阅读 · 0 评论 -
kafka数据管道
把书读薄(Kafka权威指南 第七章)向kafka塞入（读取）数据的方式？1. 通过构建kafka客户端，进行读取或者写入。这种方式代码一般会被嵌入到应用程序2. 使用Connect Api，面对的是市面上的存储系统，Connect Api怎么处理与其它系统交互的？connect api包含3个基本概念：worker进程，连接器，转换器1. 连接器：她负责决定需要运行多少的任务，按照任务来拆分数据...原创 2018-04-30 16:38:59 · 804 阅读 · 0 评论 -
kafka多集群部署
把书读薄(Kafka权威指南 第八章)常见的集群模式比较1. Hub架构。一个中心的kafka集群做中央调度，对应多个本地的kafka集群。【变种是一个关键的kafka集群对应一个非关键的跟随者】优点：只有本地用到的数据就在本地使用，多个数据中心需要用到的数据就放在中央，从本地同步到远程的次数也就只有一次，这样读取的时候，需要本地的就本地读，否则远程读，也就是消费者只需要从一个集群读数据即可缺点：...原创 2018-04-30 16:40:34 · 2639 阅读 · 0 评论 -
初识kafka
把书读薄(kafka权威指南 第一章)kafka是用来干嘛的？ 一个系统通常拥有许多的应用场景，比如聊天，购物，前端交互等，每个场景的数据进行单独分析的时候需要有各自的队列来搜集数据，然后分发给各自的后台来处理数据，各自的维护成本大，kafka则可以用来解决这些问题，它提供了多个数据的入口，并可以分发给下游多个地方消费 kafka的基本概念有哪些？ 消息：kafka的数据单元【相当于表的一条记录】...原创 2018-04-27 23:48:16 · 165 阅读 · 0 评论 -
kafka中的生产者
把书读薄(kafka权威指南 第三章)kafka发送生产消息的大致流程是什么？1. 创建生产者对象，生产者发送包装消息的ProducerRecord2. 生产者通过send方法发送消息3. 消息被序列化4. 消息计算出分区5. 根据分区消息被分配到指定主题和分区的批次中6. 批量发送到broker7. broker判断是否消息失败，成功则直接返回元数据【可选】，失败判断是否重试，对应做相应处理如何...原创 2018-04-27 23:50:48 · 249 阅读 · 0 评论 -
kafka之旅总览
初识kafka初识kafka集群初识kafka中的生产者与消费者初识kafka对消息处理与可靠性做出的保证原创 2018-12-31 18:19:44 · 295 阅读 · 0 评论