1. kafka介绍
Kafka 本质其实也是消息中间件的一种,Kafka 出自于 LinkedIn 公司,与 2010 年开源到 github。Kafka 是一个分布式基于Zookeeper(注册中心)流媒体平台.
在 LinkedIn 公司,Kafka 可以有效地处理每天数十亿条消息的指标和用户活动跟踪,其强大的处理能力,已经被业界所认可,并成为大数据流水线的首选技术。
kafka官网:Apache Kafka
(1)流媒体平台有三个关键功能:
-
发布和订阅记录流,类似于消息队列或企业消息传递系统。
-
以容错的持久方式存储记录流。
-
记录发生时处理流。
(2)Kafka通常用于两大类应用:
-
构建可在系统或应用程序之间可靠获取数据的实时流数据管道
-
构建转换或响应数据流的实时流应用程序
3)kafka名词解释
-
topic:Kafka将消息分门别类,每一类的消息称之为一个主题(Topic)
-
producer:发布消息的对象称之为主题生产者(Kafka topic producer)
-
consumer&