kafka
半_调_子
因为热爱
展开
-
大数据:Kafka重要概念
1kafka的iSR,AR代表什么kafka需要所有的iSR全部同步完成,则表示同步成功AR:分区的所有副本1、AR在Kafka中维护了一个AR列表,包括所有的分区的副本。AR又分为ISR和OSR。AR = ISR + OSR。AR、ISR、OSR、LEO、HW这些信息都被保存在Zookeeper中。1.ISRISR中的副本都要同步...原创 2020-02-18 10:36:15 · 509 阅读 · 0 评论 -
大数据:kafka
kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域。2消息队列的两种模式1、点对点模式(一对一,消费者主动拉取数据,消息收到后消息消除)消息生产者生产消息发送到队列中,然后消息消费者从队列中取出并且消费消息。消息被消费以后,queue中不再有存储,所以消息消费者不可能消费到已经被消费的消息。Queue支持存在多个消费者,但是对一个消息而言,只会有一个...原创 2020-02-18 10:00:47 · 366 阅读 · 0 评论 -
kafka官方文档
主要功能:发布和订阅:读取和写入数据流,如消息传递系统。处理:编写可扩展的流处理应用程序,以实时响应事件。存储:将数据流安全地存储在分布式,复制的容错群集中。介绍:Apache Kafka 是一个分布式流媒体平台。 这到底是什么意思呢?流媒体平台有三个关键功能:发布和订阅记录流,类似于消息队列或企业消息传递系统。以容错的持久方式存储记录流。记录发生时处理流...原创 2018-11-21 16:44:11 · 369 阅读 · 0 评论