细解 kafka 架构、应用场景及良好特性

已于 2022-01-29 14:46:08 修改
阅读量1.9k 收藏 5
点赞数 1
分类专栏： 架构设计 文章标签： kafka zookeeper 中间件 linux elk
于 2022-01-27 16:52:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34417408/article/details/122719437
版权

文章目录


在这里插入图片描述

细解 kafka 架构、应用场景及良好特性

文章涵盖角度较广，建议收藏备读！
了解更多，请关注 公众号 “ code 杂坛 “！

什么是 kafka

kafka 是一款由 Scala 和 Java 实现的，分布式流式处理平台。

因为具备高吞吐、可持久化、可水平扩展等特性而被广泛使用，也是软件开发人员的进阶必备技能！

本文就简单聊 关于 kafka 具体的内部结构、工作原理、应用场景都有哪些？

kafka 框架/组成

  • kafka 的框架或组成是什么？

这个问题比较笼统，仔细一想 kafka 不就是存储 client 写入的数据，

了解本专栏 订阅专栏 解锁全文 超级会员免费看
魏小言
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
lambda-arch:将Lambda架构与Spark，Kafka和Cassandra一起应用
05-01
Lambda体系结构 在了解有关该项目的 在观看展示该项目的视频 我们的Lambda项目接收来自互联车辆的实时IoT数据事件，然后通过Kafka提取到Spark。 使用Spark流API，我们处理并分析了IoT数据事件，并将其转换为车辆信息。 同时，数据也存储到HDFS中以进行批处理。 我们使用Spark流API对流执行了一系列无状态和有状态转换，并将其持久化到Cassandra数据库表中。 为了获得准确的视图，我们还执行批处理并在Cassandra中生成批处理视图。 我们使用Spring Boot，SockJs和Bootstrap开发了响应式Web流量监视仪表板，这些仪表板从Cassandra数据库获取视图并使用Web套接字推送到UI。 ================================================== =======================
Kafka详解
最新发布
askuld的博客
06-12 1556
Kafka、RabbitMQ、RocketMQ常见消息中间件的介绍和对比。
架构必备能力——kafka的选型对比及应用场景
热门推荐
战斧的博客
10-13 1万+
经过上述的讲解，我们不难知道Kafka的应用场景非常广泛，你可以只把他当MQ组件，也可以使用它进行日志传输或流处理。它的特点也非常鲜明，就是强大的吞吐量、扩展性和可靠性。当然它与传统MQ组件对比，它在复杂场景下的使用会比较麻烦。但其在大数据领域应用广泛，比如经常作为 Hadoop 的数据源，将数据传输到 Hadoop 中进行存储和处理。当然，在实际选型中我们往往要考虑更多问题，除了明确需求和场景，还要考虑已用的技术栈情况、开发语言支持、版本更新情况。并没有哪一种框架是万金油。
解开Kafka神秘的面纱(一)：kafka架构与应用场景
毛毛的专栏
02-27 3900
文章目录一、前言二、Kafka简介2.1 Kafka简介2.2 基于分布式的Kafka三、Kafka架构3.1 消息生产与消费3.1.1 消息生产与消费模型3.1.2 Kafka消费单元是消费者组3.1.3 Kafka只消费Partition主分区的消息3.1.4 消费者组中的每个消费者的offset3.1.5 小结3.2 Partition备份与选主3.3 高级特性3.3.1 四个核心API3.3.2 攒一波再发3.3.3 普通消费模式和高级消费模式3.4 Kafka整体架构四、Kafka应用场景4.1
kafka 入门概念和架构，以及应用场景
weixin_43281498的博客
04-10 3142
一、Kafka 简介 Kafka 是 linkedin 使用 Scala 编写具有高水平扩展和高吞吐量的分布式消息系统。 Kafka 对消息保存时根据 Topic 进行归类，发送消息者成为 Producer ，消息接受者成为 Consumer ，此外 kafka 集群有多个 kafka 实例组成，每个实例(server)称为 broker。 无论是 Kafka集群，还是 producer 和 consumer 都依赖于 zookeeper 来保证系统可用性，为集群保存一些 meta 信息。 二、mq 对比
[消息队列 Kafka] Kafka 架构组件及其特性（一）
harryptter的专栏
06-06 1188
集群中有三个Broker,有两个topic,都有三个副本，topic0有两个分区，分区1（图中左上角的Partition(0)）的leader在Broker0中，分区2leader在Broker1中，topic1的分区leader在broker2中。b)消费者获取消息有两种模式：Pull模式（拉）（消费者主动从消息队列中获取消息），Push模式（推）（Broker把消息推送给消费者）b)副本必须在不同的Broker上，副本包括了主从节点（Leader(图片中蓝色部分)，Foller(图片中灰色部分)）
Kafka架构和使用场景
倔强100%的博客
09-16 1658
Kafka架构
【Kafka架构及应用】
Oo_Amy_oO的博客
12-19 964
总之，Kafka在大数据中的应用非常广泛，它为实时数据流处理、消息传递、日志收集和分析等场景提供了强大的支持。配置Kafka：在配置Kafka之前，需要了解和确定一些关键参数，如Kafka集群的名称、端口、数据存储目录等。通过将数据复制到多个Kafka集群中的主题，可以实现数据的冗余存储和容错性。选择适合你操作系统的版本进行下载。Topic：消息的逻辑容器，可以理解为消息的类别或主题，每个消息都会被发布到一个特定的主题。每个Broker接收到消息后，根据消息的主题和分区信息，将消息存储到对应的分区中。
什么是kafka、kafka的应用场景、Kafka基本知识
CodingAnHour
07-13 1721
Kafka 最初由LinkedIn公司开发的，并于 2010 年贡献给了 Apache 基金会，之后成为 Apache 顶级项目。目前 Kafka 已经定位为一个分布式流式处理平台，它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。目前越来越多的开源分布式处理系统如 Cloudera、 Storm、 Spark、 Flink 等都支持与 Kafka 集成 。Kafka之所以受到越来越多的青睐，与它所“扮演 ”的三大角色是分不开的 :消息系统: Kafka 和传统的消息系统(也称作消息中
Kafka的原理、基础架构、以及使用场景详解
jjc4261的博客
03-10 870
Apache Kafka是分布式发布-订阅消息系统，在 kafka官网上对 kafka 的定义：一个分布式发布-订阅消息传递系统。Kafka最初由LinkedIn公司开发，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景有：日志收集系统和消息系统。
深入理解Kafka：架构、设计原则及最佳实践
BXA
05-29 2600
Kafka是一款由Apache开发的分布式流处理平台，它最初是由LinkedIn公司在2010年开发的。从最初的消息队列到如今的分布式流处理平台Kafka经历了一个逐步演化的过程。 Kafka最开始的设计目的是解决LinkedIn内部存在的海量数据传输问题，在其不断的发展中Kafka逐渐发展成为一种可持久化、分布式、身临其境的发布/订阅消息系统。
数据库分库分表可扩展及数据倾斜/热点问题(二)
魏小言的博客
03-28 5025
目录 数据库分库分表可扩展及数据倾斜/热点问题(二) 垂直&水平 分库分表 Range & Hash策略 “ 山前车 策略 数据库分库分表可扩展及数据倾斜/热点问题(二) “在高并发、业务数据规模庞大、数据库服务负载高 的场景中，数据库分库分表是必不可少的手段之一。如何建立高效的分配策略，确保良好的可扩展性，解决数据倾斜等问题呢？” 上周看到一篇关于，数据库分库分表的文章，文中除了提到垂直维度分割，还说到水平维度的两种分割策略：分别是Range和H...
经典软件架构设计模式
魏小言的博客
03-17 4103
—1— 分层模式（Layered Pattern (n-tier)） 分层架构模式是最常见的模式之一。分层模式背后的理念是，具有相同功能的组件将被组织成水平层。因此，每一层在应用程序中都扮演着特定的角色。 在这种模式中，我们对应用程序可以拥有的层数没有限制。在这方面，我们还提倡关注点分离的概念。分层模式风格抽象了整个软件的视图；同时提供足够的细节，以了解各个层的角色和职责以及它们之间的关系。分层模式的典型实现如下： UI展示层（UI/Presentation Layer）：渲染并运行用...
分分钟教会你， 解决 Grafana 中 String 类型的展示问题
魏小言的博客
06-17 3149
文章目录特殊场景解决方案方案一「 API + Panel 」方案二「 Metric + Table + Display」方案施行流程最终效果Q&A附录   目前在企业级监控中，许多公司都用了 Prometheus + Grafana 组件。有些特殊场景需要以 String 类型为主要展示内容，那么你们的解决方案是什么呢？ 特殊场景 场景一   在一个业务任务中，通过抢锁的方式确保当前有且仅有一个节点在执行任务，且一但节点故障，其他节点替换执行。 「 锁：基于redisgo的分布式锁https:
几年基础架构的经验之谈[42 things I learned from building a production database]
魏小言的博客
03-21 3020
几年基础架构的经验之谈[42 things I learned from building a production database] 最近读到了分布式系统研究者 Mahesh Balakrishnan 的一篇博客《42 things I learned from building a production database》。同样做基础架构，看完大佬总结的经验后拍案叫绝，其中有几条简直是真知灼见，故翻译了全文。 Mahesh Balakrishnan 是 Facebook Delos 项目的负责
ES为什么那么牛——Elasticsearch存储解析
魏小言的博客
05-23 2618
文章目录ElasticsearchElasticsearch 架构文档型数据库索引结构时间复杂度空间复杂度Q&A附录 本文仅针对ES存储部分进行解析，其他部分请关注后续博文，欢迎技术交流！ Elasticsearch 监控全家桶 ELK/EFK，其中的 E 就是 ES(Elasticsearch)。Elasticsearch「开发语言 Java」最早于 2010 年 2 月发布，是一款分布式可扩展的实时检索分析组件。它不仅是一款文档型数据库，也是基于全文搜索引擎 Apache Lucene 之上的一
快速理解 WAL 机制，架构师必备技能！「建议收藏！！」
魏小言的博客
06-16 2411
文章目录什么是 WAL 机制WAL 应用场景WAL 磁盘中具象结构WAL 截断WAL 检查点 checkPointQ&A附录   WAL 机制，是个伟大的设计，在不同的系统、组件中，都存在它的身影。   WAL 的分析了解，也是你在架构设计道路上，必备的技能之一。   下面来简单唠唠： 什么是 WAL 机制   WAL 全称为，Write Ahead Log ，译为进行写操作前先写日志。 WAL 应用场景   那么 WAL 是用来做什么的呢？   WAL 最早/常出现的场景数据库操作中，解决两个问
B/S、C/S系统设计对比
魏小言的博客
09-05 1227
B/S、C/S对比： 一、C/S 1.优点： （1）安全性：需要其特定的客户端，所以面向对象比较确定，将所进行的信息安全处于一个可控的范围 （2）效率：客户端的服务器直接相连，省却了中间环节，数据的传输比较快 （3）个性化：有特定的客户端，所以可以在较大程度上满足客户的个性化要求 （4）稳定性：结构比较稳定，有较强的事务处理能力，可以实现较复杂的业务逻辑 2.缺点： ...
"深入探讨Java Kafka架构，实战高级特性解析
Java Kafka架构与实战高级特性是针对Kafka消息队列系统的深入研究和实际应用的课程。在本课程中，学习者将深入了解Kafka的架构原理，并通过实战项目掌握Kafka的高级特性，从而能够在实际项目中灵活运用Kafka技术解决...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

魏小言

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值