【kafka】kafka介绍 kafka和消息队列的区别 & kafka的系统架构

最新推荐文章于 2024-06-30 08:38:19 发布
最新推荐文章于 2024-06-30 08:38:19 发布
阅读量741 收藏
点赞数
分类专栏： kafka 文章标签： kafka 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45783164/article/details/105522703
版权
本文介绍了Kafka的基本概念，与ActiveMQ的区别，以及Kafka的高吞吐量和O(1)复杂度。Kafka作为一个分布式消息队列，采用Producer、Broker、Consumer结构，强调以Consumer为中心的消费模式。与ActiveMQ不同，Kafka不支持JMS标准，而是提供高效的批量处理和zero-copy机制。同时，文章还探讨了消息队列在解耦、异步和并行处理中的核心作用，以及Kafka的架构组件，包括Producer、Broker、Partition、Replication和Zookeeper的角色。
摘要由CSDN通过智能技术生成

文章目录

Kafka介绍

Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高吞吐量、低延迟的平台。

Kafka是一个分布式消息队列：生产者、消费者的功能。 它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。

Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer,消息接受者称为Consumer,此外kafka集群有多个kafka实例组成，每个实例(server)成为broker。

无论是kafka集群，还是producer和consumer都依赖于zookeeper集群保存一些meta信息，来保证系统可用性

kafka与ActiveMQ区别

  • activeMQ是一个标准的JMS（java message）java消息队列实现

    • 它是一个发布和订阅过程
      • 服务端主动把数据推送给消费者

  • kafka不是一个标准的JMS（java message）java消息队列实现，它是一个类似于JMS框架

    • 它是一个发布和拉取过程
      • 服务端不会主动把数据推送给消费者，需要消费者自己主动把数据拉取过来

最低0.47元/天 解锁文章
废物点心777
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据Kafka（一）：消息队列和Kafka的基本介绍
Lansonli（蓝深李）的博客
07-31 5484
什么是消息队列消息队列，英文名：Message Queue，经常缩写为MQ。从字面上来理解，消息队列是一种用来存储消息的队列。来看一下下面的代码上述代码，创建了一个队列，先往队列中添加了一个消息，然后又从队列中取出了一个消息。这说明了队列是可以用来存取消息的总结:消息队列指的就是将数据放置到一个队列中, 从队列一端进入, 然后从另一端流出的过程二、消息队列的应用场景消息队列在实际应用中包括如下四个场景：1、应用耦合：多应用间通过消息队列对同一消息进行处理，避免调用接口失败导致整个过程失败；
一、消息队列与Kafka
qq_1306238492的博客
01-14 472
1、消息队列 消息队列的两种模式： （1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除） 点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是如此。 （2）发布/订阅模式（一对多，数据生产后，推送给所有订阅者） 发布订阅模型则是一个...
Kafka和消息队列之间的超快速比较
博客
07-04 2253
原文：A super quick comparison between Kafka and Message Queues 作者：Hendrik Swanepoel 翻译：Vincent 译者注：本文的目的是让读者快速了解Kafka与消息队列之间的关系，告诉读者为什么会考虑使用它的原因。以下为译文。 Kafka最初是由Linkedin社区开发的一项技术。简而言之，它有点像消息...
kafka和rabbitmq的区别
最新发布
DKPT的博客
06-30 294
2、RabbitMQ：具有可靠性、灵活的路由、消息集群和高可用等特点。RabbitMQ支持消息集群，多个RabbitMQ服务器可以组成一个集群，形成一个逻辑Broker。此外，RabbitMQ的队列可以在集群中的机器上进行镜像，以实现高可用。1、Kafka：具有高吞吐量、低延迟、可扩展性、持久性、可靠性、容错性和高并发等特点。特别地，Kafka通过分区、批量发送和压缩消息、顺序读写、零拷贝等技术实现高吞吐量。2、RabbitMQ：由Erlang语言开发，主要用在实时对可靠性要求比较高的消息传递上。
kafka与传统的消息中间件对比
weixin_34220179的博客
06-30 477
RabbitMQ和kafka从几个角度简单的对比 业界对于消息的传递有多种方案和产品，本文就比较有代表性的两个MQ(rabbitMQ,kafka)进行阐述和做简单的对比， 在应用场景方面， RabbitMQ,遵循AMQP协议，由内在高并发的erlanng语言开发，用在实时的对可靠性要求比较高的消息传递上。 kafka是Linkedin于2010年12月份开源的消息发布订阅系统,它主要用于处...
高并发架构系列：Kafka、RocketMQ、RabbitMQ的优劣势比较
weixin_33895475的博客
01-09 269
在高并发业务场景下，典型的阿里双11秒杀等业务，消息队列中间件在流量削峰、解耦上有不可替代的作用。 我之前介绍了【MQ消息队列的12点核心原理总结】，【如何从0到1设计一个MQ消息队列】，以及【RPC远程调用和消息队列MQ的区别】。 今天我们一起来探讨： 全量的消息队列究竟有哪些？ Kafka、RocketMQ、RabbitMQ的优劣势比较，以及消息队列...
Kafka与传统消息队列的区别？
weixin_33681778的博客
04-19 2640
为什么80%的码农都做不了架构师？>>> ...
KOA+egg.js集成kafka消息队列的示例
01-01
Kafka：高吞吐量的分布式发布订阅消息系统 本文章将集成egg + kafka + mysql 的日志系统例子 系统要求：日志记录，通过kafka进行消息队列控制 思路图： 这里消费者和生产者都由日志系统提供 λ.1 环境准备 ①Kafka...
Kafka消息队列
01-07
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量...
Kafka基本架构介绍
01-27
（1）点对点消息系统在点对点系统中，消息被保留在队列中。一个或多个消费者可以消耗队列中的消息，但是特定消息只能由最多一个消费者消费。一旦消费者读取队列中的消息，它就从该队列中消失。该系统的典型示例是...
Kafka与消息队列的比较
小技术君
06-12 1975
消息队列（Message Queues）是一种允许分布式系统和应用异步通信的服务。异步通信意味着消息发送者在等待接收者接收消息之前不需要等待，这可以提高性能和可扩展性，使应用能够并行处理消息。消息队列通过将消息存储在队列中来工作。生产者（也称为发布者）可以向队列添加消息，消费者（也称为接收者）可以从队列中获取和处理消息。每条消息一次只能由一个消费者处理。消息队列可以用于提高流程效率，帮助开发人员优...
常见消息队列总结-Kafka
phantom_111的博客
04-11 6657
Kafka的设计初衷是希望作为一个统一的信息收集平台，能够实时的收集反馈信息，并需要能够支撑较大的数据量，且具备良好的容错性。主要设计目标如下： 以时间复杂度O(1)的方式提供消息持久化能力，并保证即使对TB级以上数据也能保证常数时间的访问性能。 高吞吐率，即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输。 支持Kafka Server间的消息分区，及分布式消费消息，同时保证...
kafka与消息队列
笔记小屋
01-22 1747
kafka定义 Apache kafka is a distributed streaming platform，即官方定义 kafka 是一个分布式流式计算平台。而在大部分企业开发人员中，都是把 kafka 当成消息系统使用，即它是一个分布式消息队列，很少会使用 kafka 的流式计算。 消息队列的特点 模式 这个模式主要是针对消费者来讲的，生产者是无模式概念说法的，生产者生产消息都是主动的。 点对点 pull模式，消费者主动拉取消息，消费者根据自身性能，消费的快就多拉消息，消费的慢就少消费，同时pul
kafka与其他消息队列对比
Future_LL的博客
02-26 3986
RabbitMQ:分布式，支持多种MQ协议，重量级 ActiveMQ：与RabbitMQ类似 ZeroMQ：以库的形式提供，使用复杂，无持久化 Redis：单机、纯内存性好，持久化较差 Kafka：分布式，消息不是使用完就丢失【较长时间持久化】，吞吐量高【高性能】，轻量灵活 --------------------------------------------------------...
消息队列和Kafka
jjjjjkkkl的博客
01-29 501
Replication副本，防止某个broker宕机，为partition创建多个副本，保存数据，一个broker的副本放在不同的broker中。特点：低耦合，响应时间快，异步削峰限流（在不繁忙的时间段处理再处理任务），系统结构弹性大，易于扩展。定义：多个事务访问同一资源，对已有的资源不释放，相互锁定对方的资源，造成的死循环。消息队列是存储在内存中。- Broker：Kafka集群中的单个服务器节点，负责数据存储和处理。broker是kafka服务器的一个实例，kafka是broker的集群。
简单说一下kafka 与其他消息队列
乔治大哥的博客
11-21 352
• RabbitMQ:分布式，支持多种MQ协议，重量级 • ActiveMQ：与RabbitMQ类似 • ZeroMQ：以库的形式提供，使用复杂，无持久化 • redis：单机、纯内存性好，持久化较差 • kafka：分布式，较长时间持久化，高性能，轻量灵活 • RabbitMQ也是常见的消息对列，它支持多种MQ的协议，jms啊，等多种协议等等，它的缺点比较重 • ActiveMQ也和R...
Kafka整理-Kafka与传统消息队列系统（如RabbitMQ, ActiveMQ）的区别是什么？
不务正业的猿
03-19 582
总体而言，虽然Kafka和传统消息队列系统都用于消息传递和处理，但它们各自适合不同的使用场景和需求。Kafka更适合大规模的数据流处理和实时应用，而传统消息队列系统更适合复杂的消息路由和点对点通信场景。Apache Kafka与传统消息队列系统（如RabbitMQ, ActiveMQ）虽然都是处理消息和数据流的中间件，但它们在设计理念、架构、功能和使用场景方面有显著的区别。强调点对点（Point-to-Point）和发布-订阅（Publish-Subscribe）模式。
Kafka系列（一）【消息队列、Kafka的基本概念、Kafka的工作机制、Kafka可满足的需求、Kafka的特性、Kafka的应用场景】
蓝天it（让亿万孩子在蓝天下共享优质教育）
02-03 1705
消息队列”(Message Queue,MQ)从字面来理解，是一个队列，拥有先进先出(FirstInputFirst Output，FIFO)的特性。它主要用于不同进程或线程之间的通信，用来处理一系列的输入请求。消息队列采用异步通信机制。即，消息的发送者和接收者无须同时与消息队列进行数据交互，消息会一直保存在队列中，直至被接收者读取。每一条消息记录都包含详细的数据说明,包括数据产生的时间、数据类型、特定的输入参数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值