kafka概述

1分布式消息队列kafka

1.1 kafka概述

    Kafka is used for building real-time data pipelines and streaming apps. It is horizontally scalable, fault-tolerant, wicked fast, and runs in production in thousands of companies.

    kafka和消息系统类似

    消息中间件：生产者和消费者

 

1.2 kafka三大关键特点

    发布和订阅记录流，类似于消息队列或企业消息传递系统。

    以容错持久的方式存储记录流。

    在记录发生时处理记录流。

1.3 kafka的优势

    构建能够可靠地在系统或应用程序之间获取数据的实时流数据管道

    构建转换或响应数据流的实时流应用程序

1.4 kafka架构

生产者：

   向Topic中发送消息

消费者：

    向Topic中拉取／消费消息

Topic ［主题，类别，话题］

    理解为是一种队列，每条发送消息都从属于一种类别，这种类别在kafka中被设计为一个topic

Broker ［中间者，代理者］

    Kafka集群包含多台服务器，一台Kafka服务器就是一个Broker，一个集群由多个broker组成，一个broker可以有多个topic。broker承担着中间缓存和分发的作用，broker将producer发送的数据分发到注册consumer中