Kafka基本介绍（kafka相关术语，基本概念，用途）

最新推荐文章于 2022-02-13 23:06:58 发布
最新推荐文章于 2022-02-13 23:06:58 发布
阅读量369 收藏
点赞数
分类专栏： 消息队列MQ 文章标签： 队列 kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/houhj168/article/details/109834720
版权
本文介绍了Kafka的基本概念，包括broker、topic、partition、offset、producer、consumer和consumer group，以及消息处理过程。Kafka保证partition内的消息顺序，消费者组用于实现消息的单播和广播。理解这些概念有助于深入理解Kafka的工作原理。
摘要由CSDN通过智能技术生成

这里将会对包括kafka基本架构以及消费者、生产者API涉及的术语进行说明。了解这些术语有助于更深入理解kafka。

 

 

 

  1. Kafka相关术语

broker

topic

stream

partition

offset

producer

consumer

consumer group

要了解这些术语，我们先看下kafka整个消息

最低0.47元/天 解锁文章
houhj168
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kafka基本知识点
weixin_38446891的博客
12-15 1562
由Scala和Java编写,Kafka是一种Kafka是最初由Linkedin公司开发，是一个，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等。
Kafka 基本术语介绍
superiorpengFight的专栏
10-25 536
Kafka 基本术语 对于 Kafka 基本原理的介绍，可以通过对以下基本术语的介绍进行。 2.1.1 Topic 主题。在 Kafka 中，使用一个类别属性来划分消息的所属类，划分消息的这个类称为 topic。 topic 相当于消息的分类标签，是一个逻辑概念。 2.1.2 Partition 分区。topic 中的消息被分割为一个或多个 partition，其是一个物理概念，对应到系统上就是一个或若干个目录。 partiiton 本身是一个 FIFO 队列，其中的消息是有序的。但，在 Pa
kafka基本介绍
weixin_34268310的博客
04-05 101
kafka基础知识 几个概念 kafka作为一个集群运行在一个或多个服务器上。kafka集群存储的消息是以topic为类别记录的。每个消息（也叫记录record，我习惯叫消息）是由一个key，一个value和时间戳构成。 无论是kafka集群，还是producer和consumer都依赖于zookeeper来保证系统可用性集群保存一些meta信息。 kafka有四个核心...
Kafka基本介绍
技术交流
07-19 842
一、背景1、Why Kafka以ActiveMQ为例，和Kafka同属于Apache，发展前景都十分被看好。但两种的设计目标却各有侧重。ActiveMQ可以支持多种协议、事务等，但在吞吐量上，他的Forwarding Bridge机制一直被很多人吐槽。但Kafka侧重点在大数据、分布式应用，他可以支持动态扩容（通过zk）。Kafka是为分布式而生的，他主要来应对庞大的活动流数据。因此，强大的吞吐量是
Kafka基本术语
nbdebuyaobuyao的博客
08-19 218
Kafka基本术语 Message(消息)：传递的数据对象，主要由四部分构成：offset(偏移量)、key、value、timestamp(插入时间)；其中offset和timestamp在kafka集群中产生，key/value在producer发送数据的时候产生 Broker(代理者)：Kafka集群中的机器/服务被成为broker， 是一个物理概念。 Topic(主题)：维护Kafka上的消息类型被称为Topic，是一个逻辑概念。 Partition(分区)：具体维护Kafka上的消
Kafka基本使用
I_absolutely的博客
09-02 1366
一、概述 1、kafka是什么 Kafka是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调 的，发布/订阅模式的消息队列(Message Queue)。 Kafka主要设计目标如下: 以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输 支持Kafka Server(Kafka Broker)间的消息分区，及分布式消费，同时保证每个partition内的消息顺序传输
kafka安装及详细介绍
04-11
Kafka 安装及详细介绍 Kafka 是一个高吞吐的分布式消息队列系统，具有生产者消费者模式，先进先出（FIFO）保证顺序，不丢失数据，默认每隔 7 天清理数据。事件记录了一个事实，即世界或企业中发生的“某些事情”。...
[kafka]kafka术语白话
lingfy1234的博客
02-13 2995
本文致力于写一篇非技术人员也能看懂的kafka术语介绍。
kafka的一些术语
csucoderlee的专栏
08-01 256
kafka是基于发布与订阅模型的分布式消息引擎。 什么是发布与订阅（引用维基百科） 在软件架构中，发布-订阅是一种消息范式，消息的发送者（称为发布者）不会将消息直接发送给特定的接收者（称为订阅者）。而是将发布的消息分为不同的类别，无需了解哪些订阅者（如果有的话）可能存在。同样的，订阅者可以表达对一个或多个类别的兴趣，只接收感兴趣的消息，无需了解哪些发布者（如果有的话）存在。 简单的来说，消息的生产者只需要通过发布，将消息分类发送到不同的地方，消息的消费者订阅指定的分类，消费其中的消息。 主题就是
kafka的基本介绍
汉子一枚
03-17 931
企业中离线业务场景实时业务场景都需要使用到kafka Kafka具备数据的计算能力和存储能力，但是两个能力相对（MR/SPARK，HDFS）较弱. Kafka角色的角色与hbase比较像，层级关系比较多。 消息：应用之间传送的数据，或点与点之间，点与多点之间传递的数据，传递的信息。 消息队列：是一种应用间的通信方式以队列的形式传递。 消息队列的应用场景 应用解耦合：多应用间通过消息队列对同一消息进...
KafKa基本介绍
清纯玉面可爱小郎君
03-27 955
kafKa的基本介绍： kafka是一个分布式的消息队列，kafka并不是JMS的实现。 JMS是一套java规范，它有消息的消费者和生产者，有两种模式： 一：点对点模式。一个生产者对应一个消费者，由消息的消费者去拉取消息，消息获取到以后消息清除。好比牵手女朋友，这哥们比较专情，找了一个女朋友就对其他的女人不感兴趣。 二：发布/订阅模式。一对多模式，一个消息的生产者对应多个消息的消费者，消
1.Kafka的基本介绍
扛麻袋的少年的博客
08-29 1718
1.什么是 Kafka ①Apache Kafka是一个开源的分布式消息发布和订阅系统，由Scala语言开发。是由Apache软件基金会开发的一个开源消息系统项目。 ②Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。Kafka具有高性能、高吞吐量的特点而被广泛应用于大数据传输场景（据说一秒钟能达到 ...
kafka --基本介绍
kismet
03-19 3400
kafka基本介绍 官网：http://kafka.apache.org/ kafka是一个分布式，分区的，多副本的，多订阅者的消息发布订阅系统（分布式MQ系统），可以用于搜索日志，监控日志，访问日志等。Kafka is a distributed,partitioned,replicated commit logservice。 kafka对消息保存时根据Topic进行归类，发送消息者成...
Kafka 基本介绍
最慢的步伐不是跬步，而是徘徊；最快的脚步不是冲刺，而是坚持
03-19 7089
1、kafka的基本介绍 官网：http://kafka.apache.org/ kafka是最初由linkedin公司开发的，使用scala语言编写 Kafka 是一个 分布式的, 分区的, 多副本的, 多订阅者的 消息发布 订阅系统 （分布式MQ系统），可以用于搜索日志，监控日志，访问日志等 Kafka is a distributed,partitioned,replica...
Kafka的基本介绍
yyyyy_ccccc的博客
03-12 141
Kafka的基本介绍 http://geek.csdn.net/news/detail/229569 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。 主要...
理解Kafka：核心角色与术语解析
Kafka的核心概念包括Producer、Consumer、Broker、Topic、Partition、Replication、Offset和ConsumerGroup。 Kafka中的角色与术语： 1. **Producer**：生产者是发布消息到Kafka集群的进程。它们负责将数据发送到...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值