Kafka的设计⽬标及核⼼的概念

最新推荐文章于 2024-11-18 19:25:57 发布
最新推荐文章于 2024-11-18 19:25:57 发布
阅读量204 收藏
点赞数
分类专栏： # Kafka 文章标签： 大数据 kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CyAurora/article/details/119789989
版权

目录

一、消息队列

 二、消息队列的分类

三、p2p和发布订阅MQ的⽐较

 四、消息系统的使⽤场景

 五、常⻅的消息系统

 六、Kafka概述

 七、设计⽬标

八、kafka核⼼的概念

一、消息队列

为什么要⽤消息队列？

  • 消息 Message 
            ⽹络中的两台计算机或者两个通讯设备之间传递的数据。例如说：⽂本、⾳乐、视频等内容。
  • 队列 Queue
            ⼀种特殊的线性表（数据元素⾸尾相接），特殊之处在于只允许在⾸部删除元素和在尾部追加元素(FIFO)    。
     ⼊队、出队。
  • 消息队列 MQ
           消息+    队列，保存消息的队列。消息的传输过程中的容器；主要提供⽣产、消费接⼝供外部调⽤做数据的存 储和获取

 二、消息队列的分类

MQ主要分为两类：点对点(p2p)、发布订阅(Publish/Subscribe)

  • Peer-to-Peer
     
            ⼀般基于Pull 或者 Polling 接收数据
             发送到队列中的消息被⼀个⽽且仅仅⼀个接收者所接受，即使有多个接收者在同⼀个队列中侦听同⼀消息 即⽀持异步“即发即收”的消息传递⽅式，也⽀持同步请求 / 应答传送⽅式

  •  发布订阅
    发布到同⼀个主题的消息，可被多个订阅者所接收
    发布 / 订阅即可基于 Push 消费数据，也可基于 Pull 或者 Polling 消费数据
    解耦能⼒⽐ P2P 模型更强

    三、p2p和发布订阅MQ的⽐较

  • 共同点：
           消息⽣产者⽣产消息发送到    queue中，然后消息消费者从queue中读取并且消费消息。
  • 不同点：
     
            p2p模型包括：消息队列 (Queue) 、发送者 (Sender) 、接收者 (Receiver)
            ⼀个⽣产者⽣产的消息只有⼀个消费者(Consumer)( 即⼀旦被消费，消息就不在消息队列中 ) 。⽐如说打电 话。
    pub/Sub 包含：消息队列 (Queue) 、主题 (Topic) 、发布者 (Publisher) 、订阅者 (Subscriber)
    每个消息可以有多个消费者，彼此互不影响。⽐如我发布⼀个微博：关注我的⼈都能够看到。

 四、消息系统的使⽤场景

  • 解耦 各系统之间通过消息系统这个统⼀的接⼝交换数据，⽆须了解彼此的存在
  • 冗余 部分消息系统具有消息持久化能⼒，可规避消息处理前丢失的⻛险
  • 扩展 消息系统是统⼀的数据接⼝，各系统可独⽴扩展
  • 峰值处理能⼒ 消息系统可顶住峰值流量，业务系统可根据处理能⼒从消息系统中获取并处理对应量的请求
  • 可恢复性 系统中部分键失效并不会影响整个系统，它恢复会仍然可从消息系统中获取并处理数据
  • 异步通信 在不需要⽴即处理请求的场景下，可以将请求放⼊消息系统，合适的时候再处理

 五、常⻅的消息系统

  • RabbitMQ Erlang编写，⽀持多协议AMQP，XMPP，SMTP，STOMP。⽀持负载均衡、数据持久化。同时⽀
  • 持Peer-to-Peer和发布/订阅模式。
  • Redis 基于Key-Value对的NoSQL数据库，同时⽀持MQ功能，可做轻量级队列服务使⽤。就⼊队操作⽽⾔，
  • Redis对短消息(⼩于10kb)的性能⽐RabbitMQ好，⻓消息性能⽐RabbitMQ差。
  • ZeroMQ 轻量级，不需要单独的消息服务器或中间件，应⽤程序本身扮演该⻆⾊，Peer-to-Peer。它实质上是
  • ⼀个库，需要开发⼈员⾃⼰组合多种技术，使⽤复杂度⾼。
  • ActiveMQ JMS实现，Peer-to-Peer，⽀持持久化、XA(分布式)事务
  • Kafka/Jafka ⾼性能跨语⾔的分布式发布/订阅消息系统，数据持久化，全分布式，同时⽀持在线和离线处理
  • MetaQ/RocketMQ 纯Java实现，发布/订阅消息系统，⽀持本地事务和XA分布式事务

 六、Kafka概述

        Kafka是分布式的发布 — 订阅消息系统。它最初由 LinkedIn( 领英 ) 公司发布，使⽤ Scala 语⾔编写，于 2010 年 12 ⽉份开源，成为Apache 的顶级项⽬。 Kafka 是⼀个⾼吞吐量的、持久性的、分布式发布订阅消息系统。它主要⽤于处理活跃live 的数据 ( 登录、浏览、点击、分享、喜欢等⽤户⾏为产⽣的数据 ) 。

 三⼤特点：

  • ⾼吞吐量
            可以满⾜每秒百万级别消息的⽣产和消费——⽣产消费。
  • 持久性
            有⼀套完善的消息存储机制，确保数据的⾼效安全的持久化——中间存储。
  • 分布式
           基于分布式的扩展和容错机制；Kafka的数据都会复制到⼏台服务器上。当某⼀台故障失效时，⽣产者和消费者转⽽使⽤其它的机器——整体

 七、设计⽬标

  • ⾼吞吐率   在廉价的商⽤机器上单机可⽀持每秒100万条消息的读写
  • 消息持久化 所有消息均被持久化到磁盘，⽆消息丢失，⽀持消息重放
  • 完全分布式 Producer，Broker，Consumer均⽀持⽔平扩展
  • 同时适应在线流处理和离线批处理

八、kafka核⼼的概念

        ⼀个MQ 需要哪些部分？⽣产、消费、消息类别、存储等等。
        对于kafka ⽽⾔， kafka 服务就像是⼀个⼤的⽔池。不断的⽣产、存储、消费着各种类别的消息。那么 kafka 由何组成呢？
 Kafka服务：
        
  • Topic：主题，Kafka处理的消息的不同分类。
  • Broker：消息服务器代理，Kafka集群中的⼀个kafka服务节点称为⼀个broker，主要存储消息数据。存在硬盘中。每个topic都是有分区的。
  • Partition：Topic物理上的分组，⼀个topic在broker中被分为1个或者多个partition，分区在创建topic的时候指定。
  • Message：消息，是通信的基本单位，每个消息都属于⼀个partition

Kafka服务相关：

  • Producer：消息和数据的⽣产者，向Kafka的⼀个topic发布消息。
  • Consumer：消息和数据的消费者，定于topic并处理其发布的消息。
  • Zookeeper：协调kafka的正常运⾏。

CyAuroras
关注
专栏目录
大数据框架和数仓高频面试题总结
击水三千里的专栏
02-15 2114
优化面试题和排版，更加聚焦目标 首先map task会从本地文件系统读取数据，转换成key-value形式的键值对集合 使用的是hadoop内置的数据类型，比如longwritable、text等 将键值对集合输入mapper进行业务处理过程，将其转换成需要的key-value在输出 之后会进行一个partition分区操作，默认使用的是hashpartitio...
工商银行大数据技术及应用白皮书2024
银行信息系统架构详解
10-22 165
计审核，数据加⼯、测试， 数据服务编排、发布流程等功能， 提⾼⼯⾏科技。准化、敏捷化和低⻔槛理念， 形成了包含数据探索、数据准备、数据研发、量数据，对数据进⾏批量、实时加⼯，⼀个数据平台按需⽀持批处理、流。⻓和多元化发展，包括⼤数据云原⽣化、数字技术外贸化、数据要素资产化、程数据分析及运营能⼒。⻔⼾、报表、仪表盘、⼤屏等的⻚⾯嵌⼊服务以及报表发布、报表导出、异。数据共享服务、数据测试、发布上线、数据运营等数据研发全⽣命周期的研。发流⽔线，⽀持批量计算、流式计算、流批⼀体、数据交付等多种数据服务。
特殊符号大全
weixin_43652507的博客
04-16 2万+
特殊符号大全
上标下标汇总
热门推荐
流子的专栏
04-22 8万+
0到9小数字符号： 上标：º ¹ ² ³ ⁴⁵ ⁶ ⁷ ⁸ ⁹ ⁺ ⁻ ⁼ ⁽ ⁾ ⁿ ′ ½ 下标：₀ ₁ ₂ ₃ ₄ ₅ ₆ ₇ ₈ ₉ ₊ ₋ ₌ ₍ ₎
IT系统运维投标书(含软硬件运维方案).docx
01-11
一、法定代表人授权书 2 二、法定代表人或其授权代表身份证复印件 3 三、投标申请及声明 4 四、报价表 5 五、报价明细表 6 5.1企业简介 8 5.1.1公司概况 8 5.1.2 公司资质 8 5.1.3 管理与运作 9 5.1.4 发展目标 10 5.2同类业绩情况: 11 六、投标单位资质证明文件（见下附件） 12 七、运维方案 13 7.1运维服务目标及服务范围 13 7.2服务内容 14 7.3运维人员组织架构 16 7.3.1运维组织结构介绍 16 7.3.2运维成员职责 16 7.3.3运维成员组织结构 17 7.4 运维质量保证措施 18 7.4.1 质量控制管理 18 7.4.2 进度控制管理 18 7.5运维流程及服务方式 18 7.5.1 服务方式 18 7.5.2运维流程 19 7.6具体服务项目及输出文档 22 7.6.1小型机、pc服务器、网络设备及存储系统 22 7.6.2机房空调、UPS设备运维服务 29 7.6.3数据库系统运维服务 32 7.6.4中间件系统运维服务 39 7.7应急服务响应措施 47 7.7.1突发事件应急流程 47 7.7.2预防措施及处理办法 49
注册商标®、商标™、©之间有什么区别？为什么商家会作特别标志呢？
chian8686的博客
06-17 1800
——®指的是注册商标，《商标法》有明确规定的“商标注册人有权标明“注册商标”或者注册标记®”，如果没有获准注册的商标如果标注®的话，便属于假冒注册商标，且有可能构成商标侵权； ——™是英文trademark的两个首字母缩写，也是指的商标，但是这个没有法律含义和法律效力，一般没有注册的商标、注册...
RabbitMQ 核⼼概念
m0_75227031的博客
08-14 1069
RocketMQ采⽤Java语⾔开发, 由阿⾥巴巴开源, 后捐赠给了Apache.它在设计时借鉴了Kafka，做出了⼀些⾃⼰的改进, ⻘出于蓝⽽胜于蓝, 经过多年双⼗⼀的洗礼, 在可⽤性、可靠性以及稳定性⽅⾯都有出⾊的表现. 适合对于可靠性⽐较⾼,且并发⽐较⼤的场景, ⽐如互联⽹⾦融. 但⽀持的客⼾端语⾔不多, 且社区活跃度⼀般。综合: 由于RabbitMQ的综合能⼒较强, 咱们这边的项⽬没有那么⼤的⾼并发, 且RabbitMQ社区⽐较成熟, 管理界⾯友好, 所以咱们接下来主要学习RabbitMQ的使⽤。
基于kafka的消息队列的设计
u014132480的专栏
07-11 585
kafka的设计 动机 建⽴一个⾼吞吐量、低延迟、分布式的消息系统。但从设计来看，它可能更像是⼀个数据库的⽇志系统。 持久性 文件系统其实也挺快! ⾸先，SSD硬盘的顺序读写速度可以达到⼏百兆(普遍在300M-600M，有些好的硬盘读取的速度甚⾄可以接近千兆)。 其次，操作系统也做了许多策略来优化硬盘的读写速度。 为什么不使用内存来存储数据呢?理由如下: 1.现代操作系统为了提高随机...
kafka
dingchengyu的博客
09-19 147
Kafka介绍 Kafka是最初由Linkedin公司开发，是⼀个分布式、分区的、多副本的、多⽣产者、多订阅者，基于zookeeper协调的分布式⽇志系统（也可以当做MQ系统），常⻅可以⽤于web/nginx⽇志、访问⽇志，消息服务等等，Linkedin于2010年贡献给了Apache基⾦会并成为顶级开源项⽬。 主要应⽤场景是：⽇志收集系统和消息系统。 Kafka主要设计⽬标如下： 以时间复杂度为O(1)的⽅式提供消息持久化能⼒，即使对TB级以上数据也能保证常数时间的访问性能。 ⾼吞吐率。即使在⾮常廉价的商
Kafka——（Kafka优势，应用场景，基础架构，核心概念）
qq_43408367的博客
10-15 191
Kafka是最初由Linkedin公司开发，是⼀个分布式、分区的、多副本的、多⽣产者、多订阅者，基于zookeeper协调的分布式⽇志系统（也可以当做MQ系统），常⻅可以⽤于web/nginx⽇志、访问⽇志，消息服务等等，Linkedin于2010年贡献给了Apache基⾦会并成为顶级开源项⽬Kafka的主要应用场景：日期手机系统和消息系统Kafka主要设计⽬标如下：以时间复杂度为O(1)的⽅式提供消息持久化能⼒，即使对TB级以上数据也能保证常数时间的访问性能⾼吞吐率。
kafka原理+基本命令+集群搭建教程
qq_40749830的博客
01-15 1643
⼀、Kafka介绍 Kafka是最初由Linkedin公司开发，是⼀个分布式、⽀持分区的（partition）、多副本的 （replica），基于zookeeper协调的分布式消息系统，它的最⼤的特性就是可以实时的处理 ⼤量数据以满⾜各种需求场景：⽐如基于hadoop的批处理系统、低延迟的实时系统、 Storm/Spark流式处理引擎，web/nginx⽇志、访问⽇志，消息服务等等，⽤scala语⾔编 写，Linkedin于2010年贡献给了Apache基⾦会并成为顶级开源 项⽬。 1.Kafka的使⽤场景
彻底搞懂 Spring Cloud 前世今生系列之第⼀代 Spring Cloud 核⼼组件 — 微服务监控和统一授权
Captain Leo的专栏
03-26 1784
Eureka服务发现慢问题、组件超时时间、服务监控、Sleuth、Zipkin、分布式链路跟踪技术、核心思想、OAuth2 、JWT
《数据密集型应用系统设计》读书笔记——第三部分 派生数据（二）
Ronnie147
05-02 1217
第11章 流处理系统 批处理系统有一个很大的假设：即输入是有界的，即已知和有限的⼤小，所以批处理知道它何时完成输⼊的读取。 实际上，很多数据是⽆界限的，因为它随着时间的推移而逐渐到达：你的用户在昨天和今天产⽣了数据，明天他们将继续产⽣更多的数据。除非你停业，否则这个过程永远都不会结束，所以数据集从来就不会以任何有意义的⽅式“完成”。因此，批处理程序必须将数据⼈为地分成固定时间段的数据块， 例如，在每天结束时处理理一天的数据，或者在每小时结束时处理一小时的数据。 日常批处理中的问题是，输⼊的变更只会在⼀天之后
2021-09-26
qq_25843323的博客
09-26 1万+
面试二问了整个项目的整体的流程，为什么选择某些技术或者基础组件 1.自我介绍 2.挑一个项目，画项目的架构图 Kafka发送数据之后立即返回还是等待ACK之后才返回？ Kafka工作流程： producter先从Zookeeper获取分区的leader producter将消息发送给leader Leader将消息写入本地文件 followers从leader pull消息 followers将消息写入本地后向leader发送ACK leader收到所有副本的A
如何配置 Flink CDC 连接 OceanBase 实现数据实时同步
OceanBase分布式数据库的博客
11-18 654
Flink CDC 为我们提供了一种高效、可靠的数据同步解决方案，结合 OceanBase 的高性能数据库特性，可以满足各种实时数据处理场景的需求。在实际应用中，还可以根据具体情况进行更多的优化和扩展，如调整并行度、设置数据过滤规则等，以提高数据同步的性能和效率
Flink升级程序和版本
chanyue123的博客
11-15 217
讲解如何升级flink程序和flink框架版本
大数据应用开发——实时数据处理（二）
谁呛我名字的博客
11-14 204
大数据应用开发——实时数据采集大数据应用开发——实时数据处理Flink完成Kafka中的数据消费，将数据分发至Kafka的dwd层中hadoop，zookeeper，kafka，flink，hbase要开启目录并在HBase中进行备份。
《大数据中的高级 SQL 技巧技》
weixin_47266126的博客
11-18 195
本文将介绍大数据中的高级 SQL 技巧，包括窗口函数、CTE（Common Table Expressions）、子查询、连接查询、聚合函数、数据分区等，帮助读者更好地处理大数据。本文介绍了大数据中的高级 SQL 技巧，包括窗口函数、CTE、子查询、连接查询、聚合函数、数据分区等。数据分区可以提高查询性能、管理数据的存储和备份、实现数据的并行处理等。连接查询是一种将两个或多个表中的数据按照一定的条件进行连接的查询方式。CTE 可以将复杂的查询分解为多个简单的查询，提高查询的可读性和可维护性。
机器学习系列----关联分析
最新发布
DK22151的博客
11-18 372
关联分析主要用于挖掘数据集中的频繁项集（Frequent Itemsets）和关联规则（Association Rules）。关联规则通常采用“如果-那么”的形式，即：如果条件 A 成立，则条件 B 成立。最常见的应用场景是市场篮子分析，在这个场景中，A 和 B 代表顾客购买的商品。关联规则通常包含三个重要的度量：支持度（Support）：规则中项集的出现频率，表示在整个数据集中，A 和 B 同时出现的概率。
深入理解Kafka：背景、设计目标与核心架构解析
"Kafka设计解析（一）-Kafka背景及架构介绍" Kafka是一个由LinkedIn开发并开源的分布式消息系统，因其高效、可扩展的特性而在业界得到广泛应用，尤其在与Cloudera Hadoop、Apache Storm和Apache Spark等大数据处理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值