kafka-1kafka基本概念和集群架构

最新推荐文章于 2024-09-09 00:13:44 发布
最新推荐文章于 2024-09-09 00:13:44 发布
阅读量1.1k 收藏 4
点赞数
分类专栏： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a3125504x/article/details/108128795
版权
本文介绍了Kafka的基本概念，包括其作为消息系统的意义，如解耦、扩展性和数据持久化。详细阐述了Kafka的前身、概念及其特性，如高吞吐、低延迟和高容错性。接着深入探讨了Kafka的集群架构，包括producer、broker、topic、partition、replica、consumer、consumer group以及controller等关键角色。文章还提到了Kafka如何使用Zookeeper进行元数据管理和故障转移，并讨论了数据一致性相关的ISR机制和offset管理。
摘要由CSDN通过智能技术生成

kafka基本概念和集群架构

消息系统的意义

  • 解耦
    • 生产者和消费者可以单独的进行扩展和修改，只需要遵循同样的接口约束就行
  • 扩展性
    • 因为解耦特性，可以单独的增加消息入队和处理频率
  • 冗余和防止数据丢失
    • 消息队列接受大量的数据并将数据持久化，直到被消费为止
      • 从消息队里删除数据前，需要处理系统明确的告知消息队里已处理完数据，从而保证了数据不会丢失。
  • 灵活性和峰值处理能力
    • 数据可能有峰值，按照峰值来配置资源会造成浪费。有了消息系统，峰值的压力由消息系统承担，大量的数据可以进入消息队里等待，而不是必须马上处理。
  • 可恢复性
    • 可恢复性主要指的是处理数据程序的可恢复性。系统的一部分组件失效时，不会影响整个系统。当某个处理程序重新启动后，可以继续处理数据
  • 顺序保证
    • 大部分消息队列是有序的，并且能保证数据会按照特定的顺序被处理。（kafka保证一个partition内的消息的消息有序，全局不保证，除非只有一个partition。但是只有一个partition就没意义了）
  • 缓冲
    • 由于解耦合消息队列的存在，生成消息和消费消息的速度可以不一致
  • 异步通信
    • 很多时候，用户不想也不需要立即处理数据。消息队列提供了异步通信机制。生产者可以一直向消息系统的消息队列放入数据，消费者可以在需要的时候处理数据。

简单来说消息系统的核心意义是</

最低0.47元/天 解锁文章
爱吃甜食_
关注
专栏目录
Kafka集群架构模型与原理解析
qq_42282792的博客
08-12 990
一、Kafka集群架构模型与原理解析 1.Kafka简介 （1）Kafka是Linkedin开源的分布式消息系统，目前归属于Apache顶级开源项目 （2）Kafka基于Pull模式来处理消息消费，追求高吞吐量，最开始是用于日志收集和传输 （3）0.8版本开始支持复制，不支持事务，对消息的重复、丢失、错误等，没有严格的要求，适用于产生大量数据的互联网服务的的数据收集 2.Kafa优势 （1）分布式 （2）跨平台 （3）超强数据堆积能力 （4）实时性 （5）水平扩展性 3.Kafka性能优异的原因 （1）顺序
【Kafka专题】Kafka集群架构设计原理详解
qq_32681589的博客
10-02 1623
Kafka的天生就是为了保证高吞吐，高性能，高可扩展的三高架构设计的，所以如果在学习中，遇到一些无法理解的，你可以适当地从这三高点入手理解。服务端Broker：一个Kafka服务器就是一个Broker（在MQ中经常出现的一个名词：中介者）Kafka将状态信息保存在Zookeeper中，这些状态信息记录了每个Kafka的Broker服务与另外的Broker服务有什么不同。通过这些差异化的功能，共同体现出集群化的业务能力。这些数据，需要在集群中各个Broker之间达成共识，因此，需要存储在一个所有集群都能共同访
Kafka集群搭建与基本原理详解
最新发布
qq_45061342的博客
09-09 1657
为什么要用Kafka，业务场景决定了产品的特点。 1、数据吞吐量很大： 需要能够快速收集各个渠道的海量日志。 2、集群容错性高：允许集群中少量节点崩溃。 3、功能不需要太复杂：Kafka的设计目标是高吞吐、低延迟和可扩展，主要关注消息传递而不是消息处理。所以，Kafka并没有支持死信队列、顺序消息等高级功能。 4、允许少量数据丢失：Kafka本身也在不断优化数据安全问题，目前基本上可以认为Kafka可以做到不会丢数据。
【Kafka】集群架构
Just Do IT
04-18 319
每个分区有且仅有一个leader，负责消息的读写，当leader挂掉后，由zookeeper从ISR列表中选举新的leader。消费者组，每个消费者属于一个消费者组，每条消息只能被同一消费者组中的一个消费者消费。主题，Kafka可以有多个主题，并支持多个生产者和消费者订阅同一主题。分区，主题中存放多个分区，分区内消息有序，每个分区可以有多个副本。负责管理集群，如：增加、删除topic，监听broker等。生产者，将消息发布到Kafka集群的终端或客户端。消费者，从Kafka分区中取用消息的终端或服务。
Apache kafka ---集群架构
abcdefghwelcome的博客
12-21 775
Apache kafka ---集群架构 下表描述了上图中显示的每个组件 1.Broker（代理） kafka集群通常由多个代理组成以保持负载平衡。kafka代理是无状的，所以他们使用Zookeeper来维护它们的集群状态，一个kafka代理实例可以每秒处理数十万次读取和写入。每个Broker可以处理TB的消息，而没有性能影响。kafka经纪人两道选举可以由Zookeeper完成。 2...
Apache Kafka 集群架构
ytp552200ytp的博客
03-19 291
Kafka的集群图： 下表描述了上图中显示的每个组件。 S.No 组件和说明 1 Broker（代理） Kafka集群通常由多个代理组成以保持负载平衡。Kafka代理是无状态的，所以他们使用ZooKeeper来维护它们的集群状态。一个Kafka代理实例可以每秒处理数十万次读取和写入，每个Broker可以处理TB的消息，而没有性能影响。Kafka经纪人领导...
kafka-2.13-3.4.0.tgz
02-10
Kafka提供了命令行工具和Web界面（Kafka Manager）来监控和管理集群状态，包括查看主题、消费者、生产者的状态，调整配置，以及进行数据清理等操作。 总结来说，Kafka以其强大的分布式能力、高吞吐量和消息持久化...
内置 kafka-2.12-3.3.1.tgz 和 kafka-eagle-bin-3.0.1.tar.gz
03-22
在这个话题中，我们将深入探讨 Kafka 的核心概念以及提供的两个关键组件：`kafka_2.12-3.3.1.tgz` 和 `kafka-eagle-bin-3.0.1.tar.gz`。 **Kafka_2.12-3.3.1.tgz** 这是 Kafka 的一个发行版本，基于 Scala 2.12 ...
kafka-2.13-3.7.0.tgz
04-08
6. **Broker**：Kafka集群中的服务器节点，负责存储和转发消息。 **特性** 1. **高吞吐量**：Kafka通过批量发送和零拷贝技术实现了高效的I/O操作，从而达到每秒数十万条消息的处理能力。 2. **持久化**：Kafka将...
kafka-2.12-3.3.2.tgz
02-01
3. **事件源**：作为事件驱动架构的一部分，Kafka可以作为事件的中央存储和分发中心。 4. **数据集成**：在不同系统间传输和同步数据，如ETL（Extract, Transform, Load）过程。 **Kafka 2.12-3.3.2新特性** 1. *...
Kafka之集群架构原理
summer_fish的专栏
07-30 748
创建一个TopicA的主题，3个分区分别存储在不同的服务器，注意Topic是一个逻辑上的概念。
Kafka 集群架构
qq_33240556的博客
04-08 1181
综上所述，Kafka集群架构包括Broker、Topic与Partition、Replication、Producer、Consumer、Consumer Group Management、Metadata Service等核心组件，通过这些组件的协同工作，实现高效、可靠、可扩展的消息流处理。Partition是Topic的物理分割单元，每个Partition内部的消息按顺序存储，并具有唯一的offset。过程，重新分配Partition的消费权，确保消息的连续消费和负载均衡。（副本），其中一个是。
Kafka之——集群搭建
冰河的专栏
10-28 2100
一、Zookeeper集群搭建 Kafka集群是把状态保存在Zookeeper中的，首先要搭建Zookeeper集群。 1、软件环境 （3台服务器-我的测试） 192.168.7.100 server1 192.168.7.101 server2 192.168.7.107 server3 1-1、Linux服务器一台、三台、五台、（2*n+1），Zookeeper集群的工作是超
Kafka架构
大数据跟我学i
03-29 357
文章目录Kafka中的重要角色brokerzookeeperproducer(生产者)consumer(消费者)consumer group(消费者组)分区(partitions)副本（Replicas）主题（Topic）偏移量（offset） Kafka中的重要角色 broker 一个Kafka集群中有多个broker，保证了负载均衡和容错 broker是无状态（Sateless）的，它们是通过ZooKeeper来维护集群状态 一个Kafka的broker每秒可以处理数十万次读写，每个broker都可
6.1 Kafka集群之基本概念
Steven的博客
08-23 288
1.基本概念 broker:一般指Kafka的部署节点 leader:用于处理消息的接收和消费等请求 follower:主要用于备份消息数据 2.拓扑图 kafka集群的原数据通过zookeeper获取 在brokers的一排中，同一个topic的同一个partition只能有一个leader，同一个leader会有多个follower 红线表示管理流，从zookeeper中注册或者获取消息，绿线表示数据的同步 producer和consumer都是与leader进行数据交互的 3.Kafka节点故障
Kafka之集群搭建
weixin_43134177的博客
01-10 1590
单机服务下，Kafka已经具备了非常高的性能。TPS能够达到百万级别。但是，在实际工作中使用时，单机搭建的Kafka会有很大的局限性。因此，我们需要使用集群。
Kafka集群搭建
ping的博客
07-11 3137
Kafka集群搭建Kafka初识Kafka使用背景在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题：我们想分析下用户行为（pageviews），以便我们设计出更好的广告位我想对用户的搜索关键词进行统计，分析出当前的流行趋势有些数据，存储数据库浪费，直接存储硬盘效率又低这些场景都有一个共同点：数据是由上游模块产生，上游模块，使用上游模块的数据计算、统计、分析，这个时候就可以...
kafka的架构
大黄_sama
07-02 989
一、架构图Broker：一台 kafka 服务器就是一个 broker。一个kakfa集群由多个 broker 组成。一个 broker 可以容纳多个 topic。Producer：消息生产者，就是向 kafka broker 发消息的客户端Consumer：消息消费者，向 kafka broker 取消息的客户端。Topic：可以理解为一个队列，一个 Topic 又分为一个或多个分区。
Kafka集群安装与使用详解
在深入探讨Kafka集群的安装和使用之前，我们首先需要理解Kafka的基本概念和架构。Kafka是一个由LinkedIn开发并开源的分布式消息中间件，后来成为Apache软件基金会的顶级项目。它的核心功能是作为一个高吞吐量的实时...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值