Kafka基本架构

原创 2016年11月24日 11:44:16

Kafka是一个设计独特的消息系统。相比于一般的消息队列,Kafka提供了一些独特的特性,非常高的吞吐能力,以及强大的扩展性。

Kafka的基本术语以及概念

·Broker:任何正在运行中的Kafka示例都成为Broker。

·Topic:Topic其实就是一个传统意义的消息队列。

·Partition:即分区。一个Topic将有多个分区组成,每个分区将存在独立的持久化文件,任何一个Consumer在分区上的消费一定是顺序的;当一个Consumer同时在多个分区上消费时,Kafka不能保证总体上的强顺序性。

·Producer:消息的生产者。

·Consumer:消息的消费者。

·Consumer Group:即消费组。一个消费组是有一个或者多个Consumer组成的,对于一个Topic,不同的消费组都将能消费到全量的消息。而同一个消费组中的Consumer将竞争每个消息。

在Kafka中,消息将被生产者“推”(push)到Kafka中,Consumer会不停的轮询从Kafka中“拉”(pull)数据。


版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

Flume+Kafka+Storm+Redis实时分析系统基本架构

今天作者要在这里通过一个简单的电商网站订单实时分析系统和大家一起梳理一下大数据环境下的实时分析系统的架构模型。当然这个架构模型只是实时分析技术的一 个简单的入门级架构,实际生产环境中的大数据实时分析技...

Flume+Kafka+Storm+Redis实时分析系统基本架构

天作者要在这里通过一个简单的电商网站订单实时分析系统和大家一起梳理一下大数据环境下的实时分析系统的架构模型。当然这个架构模型只是实时分析技术的一 个简单的入门级架构,实际生产环境中的大数据实时分析技术...

Flume+Kafka+Storm+Redis实时分析系统基本架构

今天作者要在这里通过一个简单的电商网站订单实时分析系统和大家一起梳理一下大数据环境下的实时分析系统的架构模型。当然这个架构模型只是实时分析技术的一个简单的入门级架构,实际生产环境中的大数据实时分析技术...

Flume+Kafka+Storm+Redis实时分析系统基本架构

今天作者要在这里通过一个简单的电商网站订单实时分析系统和大家一起梳理一下大数据环境下的实时分析系统的架构模型。当然这个架构模型只是实时分析技术的一 个简单的入门级架构,实际生产环境中的大数据实时分析技...
  • xbs1019
  • xbs1019
  • 2017年02月09日 17:08
  • 561

kafka基本指令

  • 2017年07月18日 17:39
  • 2KB
  • 下载

用Reactor模式构建的Kafka Server网络层和API层---架构和设计

Kafka基于Reactor设计模式和java NIO,实现了一个异步、简单、高效的网络层。本文从源码层面解析了Kafka基于Reactor模式的网络层设计,同时介绍了从客户端发起请求,到网络层将请求...

分布式发布订阅消息系统 Kafka 架构设计

我们为什么要搭建该系统 Kafka是一个消息系统,原本开发自LinkedIn,用作LinkedIn的活动流(activity stream)和运营数据处理管道(pipeline)的基础。...

分布式消息队列RocketMQ与Kafka架构上的巨大差异之1 -- 为什么RocketMQ要去除ZK依赖?

我们知道,在早期的RocketMQ版本中,是有依赖ZK的。而现在的版本中,是去掉了对ZK的依赖,转而使用自己开发的NameSrv。 并且这个NameSrv是无状态的,你可以随意的部署多台,其代码也非常...

2017年最新清大数据架构师必备Kafka原理剖析及实战演练学习之路

课程介绍: Kafka是流式处理系统如Spark streaming,Strom及Flink事实上的标准数据入口。本课程将分析Kafka的架构,Topic与Partition的关系,Kafka如何使...
  • agandjs
  • agandjs
  • 2017年09月30日 08:59
  • 177
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Kafka基本架构
举报原因:
原因补充:

(最多只允许输入30个字)