Kafka初始，架构模型，角色功能梳理

最新推荐文章于 2023-04-02 11:33:36 发布
最新推荐文章于 2023-04-02 11:33:36 发布
阅读量3.0k 收藏
点赞数
分类专栏： 九阳神功 文章标签： kafka 架构 big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43409811/article/details/121631864
版权

在这里插入图片描述
X轴对应单点问题，一台机器容易挂掉，那么就集群部署
Y轴主要解决的还是 性能问题，当数据量达到一定的时候，性能就下降，我们可以 根据业务来分集群
Z轴 就是kafka的Partition(分区)，每个分区都有leader主机号
为了实现扩展性，一个非常大的 topic 可以分布到多个 broker（即服务器）上， 一个 topic 可以分为多个 partition，每个 partition 是一个有序的队列（MR的partition可以提高reducer的并发、Hive的partition有助于在查询时提高效率），这里的partition是有助于提高消息队列的负载均衡。

在这里插入图片描述
可以理解为一个topic就对应一个业务，topic对应是逻辑的，partition对应物理的
无关的数据就分散到不同的分区里，以追求并行并发
有

了解本专栏 订阅专栏 解锁全文 超级会员免费看
qq_43409811
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
kafka网络模型
Meiko记录
07-09 1142
Kafka基于高吞吐率和效率考虑，并没有使用第三方网络框架，而且自己基于java nio封装的，总体网络模型如下： Broker的内部处理流水线化，分为多个阶段来进行(SEDA)，以提高吞吐量和性能，尽量避免Thead盲等待，以下为过程说明。 Accept Thread负责与客户端建立连接链路，然后把Socket轮转交给Process Thread Process Thread负责接收请求和响应数据，Process Thread每次基于Selector事件循环，首先从Response Queue读.
Kafka网络模型
ThreeAspects的博客
05-05 992
  Kafka的网络通信模型是基于NIO的Reactor多线程模型来设计的。Kafka的网络通信层模型，主要采用了 1（1个Acceptor线程）+N（N个Processor线程）+M（M个业务处理线程） 。 线程数 线程名 线程具体说明 1 kafka-socket-acceptor_%x Acceptor线程，负责监听Client端发起的请求 N kafka-network...
kafka-1.kafka初始，架构模型，角色功能梳理
飘然渡沧海的博客
02-27 1053
kafka
一，kafka 伊始，架构模型，角色功能梳理
阿昊的博客
08-07 569
kafka what why how AKF broker ,producer ,consumer,offset
kafka角色模型与核心概念
星空的风fly
06-07 2034
一、Producer 生产者，负责创建消息，把消息投递Kafka中 二、Consumer 消息者，负责接收消息，一般是本地客户端，由研发人员手动编写代码实现，连接到kafka获取消息，进行消息费 三、Broker 存储消息的节点。就kafka而言，Broker可以视为一个kafka服务节点或实例。一个或多个Broker实例组成了一个kafka集群 四、Topic 主题，kafka中的消息存储以主题单位进行分类存储。生产者将消息发送到特定的主题， 消费者订阅对应的主题并进行消费消息，即每条消息都
初识Kafka：构架、生产消费模型以及其他相关概念
weixin_30747253的博客
08-05 156
当前使用的事件总线采用的是Kafka分布式消息队列来完成的，近来项目需要接入到事件总线中，故开启了kafka的学习之旅（之前一直在听说kafka这玩意儿，但是学习计划中还没有将它安排进去，借着这个机会学习kafka也算是弥补了这方面的一些遗憾~） 关于kafka是神马东西这里就不在累述了，网上的资料一大堆 下面分享一些自己对kafka的理解，如有不妥之处还望指出~ （1）...
Kafka基本架构介绍
01-27
消息系统负责将数据从一个应用程序传输到另一个应用程序，因此应用程序可以专注于数据，但不担心如何共享它。分布式消息传递基于可靠消息队列的概念。消息在客户端应用程序和消息传递系统之间异步排队。...
Kafka架构和原理
03-01
整个架构中包括三个角色。生产者（Producer）:消息和数据生产者代理（Broker）:缓存代理，Kafka的核心功能消费者（Consumer）:消息和数据消费者整体架构很简单，Kafka给Producer和Consumer提供注册的接口，数据从...
Kafka技术架构原理分享ppt
06-09
kafka架构原理 1、kafka架构原理简介 2、kafka架构原理深度解析 3、常见问题以及处理方案 4、各种消息中间件的对比 ps：可用于公司技术分享
超详细Kafka架构图
06-11
超详细Kafka架构图
kafka组件(角色)介绍_结合官网、教材和实践
玉麒麟
04-02 658
kafka重要的组件讲解
kafka
人不能两次走进同一条河流
07-10 289
1.缺乏一个处理持续数据流的组件，架构组不想仅开发一个存储数据的系统，他们希望能够把数据看成是持续变化和不断增长的流，基于这样的想法开发出这样以一个数据架构出来。2. kafka角色和与其他系统的区别    1.有点像消息系统，允许发布和订阅消息流，但又不同，它以集群方式运行，其次可以按照你的要求存储数据       ，保存多久都可以。最后，kafka的流处理能力让你用个很少的代码就能够动态地处理...
kafka原理解析（角色）
weixin_43160059的博客
04-02 276
kafka是一个类似公众号类型的“订阅-推送”模式的消息队列，本文通过公众号类比来理解kafka的角色。 1，Producer：公众号的作者，发布文章（消息）到指定公众号上（broker）， 2，Broker：Kafka节点就是被称为Broker，可以理解为一个公众号，每个公众号都有自己主要偏向的主题，有科技类的，影视类的，这种类型就是topic，公众号（Broker）主要负责创建文章主题（Topic），存储作者（Producer）所发布的文章（消息），记录消息处理的过程，现是将消息保存到内存中，然后持久化
Kafka的架构模型以及工作流程
qq_43163317的博客
11-18 866
一、前言 由于工作需要，自学kafka，以下是鄙人对kafka的一些认知，分享与各位道友，如有错误请指正，欢迎各位道友一起探讨。 二、简介 1.Kafka是什么? Kafka是基于 发布-订阅模式的分布式流处理平台(消息队列)。 2.我们为什么要选择Kafka? Kafka用于流式数据的处理，被广泛应用于大数据实时计算、日志采集领域(我将其理解为数据量大就用kafka?.?) 三、Ka...
kafka介绍
哪有什么天生王者，不过是一步一个脚印
04-27 1480
1、ApacheKafka是一个分布式流平台。这到底是什么意思呢？流媒体平台有三个关键功能：发布和订阅记录流，类似于消息队列或企业消息系统。以容错持久的方式存储记录流。当记录流产生的时候可以即时处理。kafka通常用于两大类应用：构建可在系统或应用程序之间可靠获取数据的实时流数据管道构建实时流应用程序，用于转换或实时响应数据流要了解kafka如何做这些事情，让我们深入探索kafka的能力。首先有几...
kafka各个角色的处理和协作
weixin_45454916的博客
05-10 305
文章目录kafka理论kafka介绍生产者消费者和kafka的连接对象zookeeper作用kafka下面各个角色的作用消费者生产者生产者发送消息怎么保证kafka一定收到了消息ISR机制生产者允许消息丢失的时候怎么处理 kafka理论 kafka介绍 kafka是一个基于发布/订阅的消息队列,生产者发布消息到topic,消费者采用拉的模式,轮询的去问kafka有没有消息,好处在于消费的速度可以自己控制,坏处在于需要消费者需要一直维护一个长轮询 发布/订阅模式 还有一种是主动向消费者推送消息的,这种模式会出
Apache ZooKeeper在Kafka中的角色 - 监控和配置
weixin_30487701的博客
05-12 286
1.目标 今天，我们将看到Zookeeper在Kafka中的角色。本文包含Kafka中需要ZooKeeper的原因。我们可以说，ZooKeeper是Apache Kafka不可分割的一部分。在了解ZooKeeper在Apache Kafka中的作用之前，我们还将看到什么是Apache ZooKeeper。 此外，我们将详细介绍ZooKeeper Production Deployment的介...
kafka核心概念、组件角色介绍
weixin_40260375的博客
11-15 1946
1.kafka是什么？ Kafka是一个分布式消息中间件,支持分区的、多副本的、多订阅者的、基于zookeeper协调的分布式消息系统。 通俗来说： kafka就是一个存储系统，存储的数据形式为“消息”； 它的主要作用类似于蓄水池，起到一个缓冲作用。 2.Kafka中有哪些重要的组件、角色？ producer: 消息生产者，就是向kafka broker 发消息的客户端。 consumer ： 消息消费者，从kafka broker 取消息的客户端。 consumer group：
kafka connect架构
最新发布
05-24
Kafka Connect 是 Kafka 生态系统中的一个组件，它允许将外部系统与 ...总之，Kafka Connect 架构通过 Worker 和 Connector 进程实现了将外部系统与 Kafka 连接的功能，并且提供了一组强大的工具来管理数据传输和处理。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值