(一)kafka的介绍

(一)Kafka介绍

此文档为本人学习kafka记录
官方文档: https://kafka.apache.org/documentation/
参考资料:

• 《深入理解Kafka：核心设计与实践原理》
• 朱小厮

Kafka简介

​ kafka 起初是由LinkedIn公司采用Scala语言开发的一个多分区,多副本，且基于ZK分布式消息系统,

现在已经被捐献给了Apache基金会.

• kafka定义

  • Apache Kafka® is a distributed streaming platform. (分布式Stream平台)

Kafka功能

• 消息订阅和发布

  • 类似于消息队列,企业消息传递

• 消息的存储

  • Kafka会把接收到消息存储到磁盘上然后在进行操作

• Process streams of records as they occur.(流式处理平台)

  • 这个作用暂时不是很清楚,待向后学习清楚来补回

Kafka中的几个概念

• Kafka作为一个集群运行在一个或者多个可跨多个数据中心的服务器上
• kafka集群以Topic类别来存储消息
• 每一条记录由[key,value,timeStamp]组成

Kafka中的4个核心API

• Producer API
  • 允许一个程序生产多个Topic
• Consumer API
  • 允许消费者消费一个或多个Topic
• Streams API
  • 从一个或多个Topic消耗的输入流，并产生一个输出流至一个或多个输出的主题，有效地变换所述输入流，以输出流。
• Connector API
  • 允许构建和运行Kafka的Topic连接到现有的应用或者是数据系统中重用生产者和消费者

Kafka客户端和服务器端的的通讯协议

• TCP