Kafka基本架构

转载 2016年11月24日 11:44:16

Kafka是一个设计独特的消息系统。相比于一般的消息队列,Kafka提供了一些独特的特性,非常高的吞吐能力,以及强大的扩展性。

Kafka的基本术语以及概念

·Broker:任何正在运行中的Kafka示例都成为Broker。

·Topic:Topic其实就是一个传统意义的消息队列。

·Partition:即分区。一个Topic将有多个分区组成,每个分区将存在独立的持久化文件,任何一个Consumer在分区上的消费一定是顺序的;当一个Consumer同时在多个分区上消费时,Kafka不能保证总体上的强顺序性。

·Producer:消息的生产者。

·Consumer:消息的消费者。

·Consumer Group:即消费组。一个消费组是有一个或者多个Consumer组成的,对于一个Topic,不同的消费组都将能消费到全量的消息。而同一个消费组中的Consumer将竞争每个消息。

在Kafka中,消息将被生产者“推”(push)到Kafka中,Consumer会不停的轮询从Kafka中“拉”(pull)数据。


Kafka史上最详细原理总结

Kafka Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以...
  • YChenFeng
  • YChenFeng
  • 2017年07月11日 16:07
  • 20562

Kafka学习(二):Kafka的基本结构和概念

一.Kafka的逻辑架构   注:        当一个Topic中消息过多时,会对Topic进行分区处理,把消息分到不同的Partition中。    为什么要分区:     ...
  • ZuoAnYinXiang
  • ZuoAnYinXiang
  • 2016年03月15日 18:14
  • 7771

Kafka 设计与原理详解

一、Kafka简介1.1 背景历史当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息,在大数据时代,我们面临如下几个挑战: 如何收集这些巨大的信息 如何分析它 如何及时...
  • suifeng3051
  • suifeng3051
  • 2015年08月28日 16:36
  • 68345

Kafka的分布式架构设计与High Availability机制

最初,Kafka实际上是LinkedIn用于日志处理的分布式消息队列,现今,Kafka主要用于处理活跃的流式数据,如分析用户的行为,对用户搜索关键词进行统计以便分析出当前的流行趋势,存数据库浪费,而直...
  • ebay
  • ebay
  • 2015年06月18日 16:41
  • 5434

Kafka入门及使用(一)- kafka架构介绍

kafka结构介绍
  • O0mm0O
  • O0mm0O
  • 2017年08月08日 11:40
  • 384

Kafka背景及架构介绍

Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spa...
  • u013063153
  • u013063153
  • 2016年11月04日 16:48
  • 682

Kafka背景及架构介绍

摘要   Kafka是由LinkedIn开发并开源的分布式消息系统,因其分布式及高吞吐率而被广泛使用,现已与Cloudera Hadoop,Apache Storm,Apache Spark集成...
  • a578133380
  • a578133380
  • 2018年01月16日 15:32
  • 54

Kafka基本架构介绍

1、什么是消息系统?消息系统负责将数据从一个应用程序传输到另一个应用程序,因此应用程序可以专注于数据,但不担心如何共享它。 分布式消息传递基于可靠消息队列的概念。 消息在客户端应用程序和消息传递系统之...
  • chengyuqiang
  • chengyuqiang
  • 2017年10月29日 11:20
  • 481

Kafka原理简介

背景介绍: Kafka 是一个消息系统,原本开发自 LinkedIn,用作 LinkedIn 的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础。现在它已被多家公...
  • kobejayandy
  • kobejayandy
  • 2017年03月26日 19:42
  • 1165

Kafka基本架构

Kafka是一个设计独特的消息系统。相比于一般的消息队列,Kafka提供了一些独特的特性,非常高的吞吐能力,以及强大的扩展性。 Kafka的基本术语以及概念 ·Broker:任何正在运行中的Kaf...
  • CSDN_WANGQI
  • CSDN_WANGQI
  • 2016年11月24日 11:44
  • 2467
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Kafka基本架构
举报原因:
原因补充:

(最多只允许输入30个字)