原地址:https://blog.csdn.net/cp_panda_5/article/details/79458327
Kafka 是一个高吞吐、分布式、基于发布订阅的消息系统,利用Kafka技术可在廉价PC Server上搭建起大规模消息系统。Kafka具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费
KAFKA:
分布式的发布-订阅消息系统,主要用于处理活跃的数据
特点:高吞吐量:
每秒百万级别的生产消费----生产消费
持久性:
由完善的消息存储机制,确保数据的高效安全的持久化----中间存储
分布式:
基于分布式的存储和容错机制----整体的健壮性
kafka的组件:
kafka服务:
Topic:(主题) Kafka处理的消息的不同分类,每个topic都是有分区的
Broker:(消息代理) Kafka中的一个kafka服务节点称为broker,用来存储消息数据,存在硬盘中
Partition:(Topic物理上的分区) 一个topic在broker上有一个或者多个partition,分区在创建topic的时候指定
Message:(消息) 通信的基本单位,一个Message在一个partition
kafka相关服务:
Producer:数据和消息的生产者,向kafka的一个topic发送消息
Consumer:消息和数据的消费者,定于topic并处理其发布的消息
Zookeepr:协调kafka的正常运行
Kakfa特点:
解耦:消息系统在处理过程中插入一个隐含、基于数据的接口层。
冗余:消息队列持久化,防止数据丢失。
扩展性:消息队列解耦处理过程,容易扩展处理过程。
可恢复性:处理过程失效,恢复后可继续处理。
顺序保证:消息队列保证顺序。Kafka保证一个Partition内消息有序。
异步通信:消息队列允许消息加入队列,等需要时再处理。
Kafka 的术语
Kafka 架构
典型Kafka架构
一个典型的Kafka集群中包含若干Producer(可以是web前端应用产生的消息,也可以是类似通过上网Flume收集上网日志产生的Events等),若干broker(Kafka支持水平扩展,一般broker数量越多,集群吞吐率越高),若干Consumer Group,以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置及服务协同。Producer使用push模式将消息发布到broker,Consumer通过监听使用pull模式从broker订阅并消费消息。
多个broker协同合作,producer和consumer部署在各个业务逻辑中被频繁的调用,三者通过zookeeper管理协调请求和转发。这样一个高性能的分布式消息发布和订阅系统就完成了。图上有个细节需要注意,producer刡broker的过程是push,也就是有数据就推送给broker,而consumer给broker的过程是pull,是通过consumer主动去拉数据的,而不是broker把数据主动发送给consumer端的。
producer、consumer、broker以及zookeeper返四者的关系
我们看上面的图,我们把broker的数量减少,叧有一台。现在假设我们按照上图进行部署:
Server-1 broker其实就是kafka的server,因为producer和consumer都要去连它。Broker主要还是做存储用。
Server-2是zookeeper的server端,zookeeper的具体作用你可以去上网查,在这里你可以先想象,它维持了一张表,记录了各个节点的IP、端口等信息(以后还会讲到,它里面还存了kafka的相关信息)。
Server-3、4、5他们的共同之处就是都配置了zkClient,更明确的说,就是运行前必须配置zookeeper的地址,道理也很简单,这之间的连接都是需要zookeeper来进行分发的。
Server-1和Server-2的关系,他们可以放在一台机器上,也可以分开放,zookeeper也可以配集群。目的是防止某一台挂了。
简单说下整个系统运行的顺序:
1. 启动zookeeper的server
2. 启动kafka的server
3. Producer如果生产了数据,会先通过zookeeper找到broker,然后将数据存放进broker
4. Consumer如果要消费数据,会先通过zookeeper找对应的broker,然后消费。
---------------------
作者:一只土肥圆的猿
来源:CSDN
原文:https://blog.csdn.net/cp_panda_5/article/details/79458327
版权声明:本文为博主原创文章,转载请附上博文链接!