kafka理论知识

kafka介绍

• Kafka:是一个消息队列,
  流平台有三个关键功能：
  发布和订阅记录流，类似于消息队列或企业消息传递系统。
  以容错、持久的方式存储记录流。
  当记录发生时，处理记录流。
• Kafka通常用于两大类应用：
  构建可靠地在系统或应用程序之间获取数据的实时流数据管道。
  构建转换数据流或对数据流作出反应的实时流应用程序。
• 概念：
  Kafka作为集群运行在一个或多个服务器上，可以跨越多个数据中心。
  Kafka集群存储的流记录在类别中称为topic.
  每个记录由一个键、一个值和一个时间戳组成。
• Kafka有四个核心API：
  生产者API允许应用程序将记录流发布到一个或多个Kafka主题。
  消费者API允许应用程序订阅一个或多个主题并处理向其生成的记录流。
  流API允许应用程序充当流处理器，从一个或多个主题消耗输入流，并产生输出流到一