Kafka

最新推荐文章于 2022-02-18 23:58:56 发布
最新推荐文章于 2022-02-18 23:58:56 发布
阅读量225 收藏
点赞数
文章标签： kafka kafka的存储机制
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41975699/article/details/86475776
版权
本文详细介绍了Apache Kafka，一个基于Zookeeper的消息系统。内容涵盖Kafka的架构，包括broker、producer、consumer、topic和partition，以及Kafka的执行步骤，如启动Zookeeper、创建topic和消费数据。还探讨了Kafka的存储机制，如ISR、segment管理和offset管理，并解释了生产数据和消费数据的分配策略及负载均衡。
摘要由CSDN通过智能技术生成

在这里插入图片描述
Kafka官网：http://kafka.apache.org/

一、是什么

       Apache Kafka是一个开源的消息系统。由scala写成。是由Apache软件基金会开发的一个开源消息系统项目。
       Kafka最初由LinkedIn开发，并于2011年初开源。2012年10 月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一的、高吞吐量、低延迟的平台。

二、Kafka架构

Kafka是基于Zookeper的消息系统，将自己的元数据信息存储在Zookeper上。元数据信息包括Kafka的id、端口号等信息。Kafka集群由多个broker组成，每个broker是一个Kafka进程，一般一个机器上一个broker进程。每个broker进程启动后，会向zookeper记录元数据信息（hostname主机名，端口号port），以便生产者消费者使用。
在这里插入图片描述

生产者producer：生产数据，生产数据时，有一个消息分发

最低0.47元/天 解锁文章
人间怪物
关注
Kafka实践（七）：Kafka自带工具及常见异常处理文档
叶子叶来
10-09 6158
Kafka自带常用工具 Kafka的bin目录下shell脚本是kafka自带的管理工具，提供topic的创建/删除/配置修改、消费者的监控、分区重载、集群健康监控、收发端TPS压测、跨机房同步等能力，Kafka运维者可以使用这些工具进行集群的管理； Kafka节点的启/停 ------kafka 运行： bin/kafka-server-start.sh -daemon ../conf...
Kafka 测试环境宕机原因查询(一)
amwayy的专栏
03-05 4951
使用环境说明 a) kafka 使用版本： kafka_2.9.2-0.8.1b) 三台虚拟机 10.3.63.5 10.3.63.6 10.3.63.7 分别对应的是 1 2 3 三个节点。     宕机现象   a) 目前看到的现象是 storm 无法写入和查询(当时没有确定是那种情况)， 而通过查看zookeeper中的    broker借点，发现只有3， 1 两个， 而不...
Kafka 副本管理模块（七）：ReplicaManager 副本管理之ISR变更处理
lianggx3的博客
10-02 643
除了读写副本、管理分区和副本的功能之外，副本管理器还有一个重要的功能，那就是管理 ISR。这里的管理主要体现在两个方法： maybeShrinkIsr 方法：作用是阶段性地查看 ISR 中的副本集合是否需要收缩；收缩是指，把 ISR 副本集合中那些与 Leader 差距过大的副本移除的过程。所谓的差距过大，就是 ISR 中 Follower 副本滞后 Leader 副本的时间，超过了 Broker 端参数 replica.lag.time.max.ms 值的 1.5 倍。 maybePr...
Kafka的ISR收缩机制
959
02-18 1855
ISR什么时候收缩 ISR什么时候扩展 ISR的传播机制 Broker宕机之后怎么ISR的收缩？ Kafka在启动的时候,会启动一个副本管理器ReplicaManager,这个副本管理器会启动几个定时任务。 ISR过期定时任务isr-expiration,每隔replica.lag.time.max.ms/2毫秒就执行一次。 ISR变更的传播定时任务isr-change-propagation,每隔2500毫秒就执行一次。 replica.lag.time.max.ms : 如果一个follower.
kafka创建topic_Kafka实战宝典：一文带解决Kafka常见故障处理
weixin_39645343的博客
11-29 1108
​Kafka自带常用工具Kafka的bin目录下shell脚本是kafka自带的管理工具，提供topic的创建/删除/配置修改、消费者的监控、分区重载、集群健康监控、收发端TPS压测、跨机房同步等能力，Kafka运维者可以使用这些工具进行集群的管理。Kafka节点的启/停###kafka 运行bin/kafka-server-start.sh -daemon ../config/server.pr...
Partition分析
happy19870612's blog
05-31 2971
Partition负责管理每个副本对应的Replica对象，进行Leader副本的切换，ISR列表的管理以及调用日志存储系统完成写消息等 一Partition核心字段 topic: String 表示topic名字 partitionId：Int 表示分区号 replicaManager: ReplicaManager 管理副本的一个类 localBrokerId:Int 当前的brok
kafka 插件kafka 插件kafka 插件
06-26
**Kafka插件详解** Kafka插件是Apache Kafka与各种工具集成的重要组成部分，它使得开发者和运维人员能够更方便地在不同的系统中利用Kafka的功能。Kafka是一款分布式流处理平台，常用于构建实时数据管道和流应用，...
kafka2种工具 kafkatool-64bit.exe kafka-eagle-bin-1.4.6.tar.gz
最新发布
01-27
在IT行业中，Kafka是一种广泛使用的分布式流处理平台，它由Apache软件基金会开发，主要用于构建实时数据管道和流应用。本文将围绕标题和描述中提到的两种Kafka工具——kafkatool-64bit.exe和kafka-eagle-bin-1.4.6....
5、kafka监控工具Kafka-Eagle介绍及使用
05-29
Apache Kafka 是一个分布式流处理平台，常用于构建实时的数据管道和应用。Kafka 提供了高吞吐量、低延迟的消息传递能力，是大数据领域中重要的消息队列（MQ）解决方案。Kafka-Eagle 是针对 Kafka 集群设计的一款高效...
kafka-3.5.1
09-27
开源软件kafka_2.13-3.5.1版本，仅供学习安装，不可用做其他用途，建议直接在官网进行下载，版本为3.5.1，Scala版本2.13;开源软件kafka_2.13-3.5.1版本，仅供学习安装，不可用做其他用途，建议直接在官网进行下载，...
kafka-2.12-3.6.1.tgz
12-19
《Kafka 2.12-3.6.1在Linux环境下的快速部署与使用》 Kafka，作为一款高效、可扩展且持久化的分布式消息中间件，被广泛应用于大数据实时处理、日志收集和流处理等场景。本文将详细介绍如何在Linux环境下部署并使用...
kafka面试题及答案（转）
qq_23596677的博客
08-16 823
Kafka的用途有哪些？使用场景如何？ Kafka具有吞吐量大 简单的优点，适用于日志收集 大数据实时计算等场景 Kafka中的ISR、AR又代表什么？ISR的伸缩又指什么 AR：Assigned Replicas 所有副本列表 ISR：InSync Replicas 同步副本列表 ISR expand ： 有副本恢复同步状态 ISR shrink...
关于kafka的isr机制
流的博客
01-10 9720
1. 问题 Data Replication Kafka 的 Data Replication 需要解决如下问题： 怎样 Propagate 消息 在向 Producer 发送 ACK 前需要保证有多少个 Replica 已经收到该消息 怎样处理某个 Replica 不工作的情况 怎样处理 Failed Replica 恢复回来的情况 2. Propagate 消息 通过zookeeper先知...
kafka中的ISR、AR又代表什么？ISR伸缩又是什么？
热门推荐
weixin_43975220的博客
06-21 4万+
ISR
kafka ISR机制
wwwwwww31311的博客
08-29 1万+
kafka 为了保证数据的一致性使用了isr 机制 首先我们知道kafka 的数据是多副本的，某个topic的replication-factor为N且N大于1时，每个Partition都会有N个副本(Replica)。kafka的replica包含leader与follower。每个topic 下的每个分区下都有一个leader 和(N-1)个follower， 每个follower 的数据都是同步leader的 这里需要注意 是follower 主动拉取leader 的数据 Replica的个数小于等
kafka架构与原理
Dustin_CDS的博客
03-03 650
1 简介 它可以让你发布和订阅记录流。在这方面，它类似于一个消息队列或企业消息系统。 它可以让你持久化收到的记录流，从而具有容错能力。 首先，明确几个概念： Kafka运行在一个或多个服务器上。 Kafka集群分类存储的记录流被称为主题(Topics)。 每个消息记录包含一个键，一个值和时间戳。 Kafka有四个核心API： 生产者 API 允许应用程序发布记录流至一个或多个K...
kafka的isr理解
啊大海全是水的博客
04-25 1万+
问题如下： kafka 为了保证数据的一致性使用了isr 机制 1 首先我们知道kafka 的数据是多副本的，每个topic 下的每个分区下都有一个leader 和多个follower， 2 每个follower 的数据都是同步leader的 这里需要注意 是follower 主动拉取leader 的数据 注意问题：follewer 只是数据的副本提供数据的可恢复性，本身和kafka 的读...
kafka节点之间如何复制备份的？
u010943787的专栏
05-31 4295
1.http://colobu.com/2017/11/02/kafka-replication/kafka节点之间如何复制备份的？备份机制是Kafka0.8版本的新特性，备份机制的出现大大提高了Kafka集群的可靠性、稳定性。有了备份机制后，Kafka允许集群中的节点挂掉后而不影响整个集群工作。一个备份数量为n的集群允许n-1个节点失败。在所有备份节点中，有一个节点作为lead节点，这个节点...
Kafka之ISR机制的理解
daima_caigou的博客
11-03 2万+
问题1：Kafka对于producer发来的数据的怎么保证可靠性？ 每个partition都给配上副本，保证数据不丢失。 副本数据同步策略 和zookeeper不同的是，Kafka选择的是全部完成同步，才发送ack。但是又有所区别。 所以，你们才会在各种博客看到这句话【kafka不是完全同步，也不是完全异步，是一种ISR机制】 这句话对也不对，不对也对（谜语人......） 首先笔者认为：Kafka使用的是完全同步方案 完全同步的优点 同样为了容忍 n 台节点的故障，过半机制需要 2n+1
Druid实战：离线HDFS与实时Kafka数据加载教程
Druid可以连接到Kafka来实时摄入数据，这意味着数据流会实时被处理并存储在Druid的内存缓存和持久化存储中，支持实时分析。用户需要配置Druid连接到Kafka集群，并设置相应的数据源和解析器，以便正确地解析和存储...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值