![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
文章平均质量分 77
zxfBdd
这个作者很懒,什么都没留下…
展开
-
Kafka errors NotLeaderForPartitionException, TimeoutException: Batch containing * record(s) expired
Kafka errors NotLeaderForPartitionException, TimeoutException: Batch containing * record(s) expired转载 2024-05-19 11:49:42 · 56 阅读 · 0 评论 -
kafka删除topic数据
kafka删除topic数据一、概述生产环境中,有一个topic的数据量非常大。这些数据不是非常重要,需要定期清理。要求:默认保持24小时,某些topic 需要保留2小时或者6小时二、清除方式主要有3个:1. 基于时间2. 基于日志大小3. 基于日志起始偏移量详情,请参考链接:https://blog.csdn.net/u013256816/article/details/80418297接下来,主要介绍基于时间的清除!kafka版本为: 2.11-..转载 2021-11-14 20:31:20 · 3466 阅读 · 0 评论 -
Kafka日志清理之Log Deletion
。欢迎跳转到本文的原文链接:https://honeypps.com/mq/log-deletion-of-kafka-log-retention/Kafka将消息存储在磁盘中,为了控制磁盘占用空间的不断增加就需要对消息做一定的清理操作。Kafka中每一个分区partition都对应一个日志文件,而日志文件又可以分为多个日志分段文件,这样也便于日志的清理操作。Kafka提供了两种日志清理策略:日志删除(Log Deletion):按照一定的保留策略来直接删除不符合条件的日志分段。日志压缩(Lo转载 2021-11-14 20:29:10 · 199 阅读 · 0 评论 -
kafka如何创建topic
Kafka创建topic命令很简单,一条命令足矣:bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test 这条命令会创建一个名为test的topic,有3个分区,每个分区需分配3个副本。那么在这条命令之后Kafka又做了什么事情呢?本文将对此进行一下梳理,完整地阐述Kafka topic是如何创建的。 topic创建主要分为两...转载 2021-05-29 17:23:04 · 14761 阅读 · 0 评论 -
Kafka高级API和低级API
Kafka消费过程分析kafka提供了两套consumer API:高级Consumer API和低级API。1高级API1)高级API优点高级API写起来简单不需要去自行去管理offset,系统通过zookeeper自行管理不需要管理分区,副本等情况,系统自动管理消费者断线会自动根据上一次记录在zookeeper中的offset去接着获取数据(默认设置1分钟更新一下zookeeper中存的的offset)可以使用group来区分对同一个topic的不同程序访问分...转载 2021-04-13 17:39:51 · 825 阅读 · 0 评论 -
kafka[低阶api & 高阶api & 新api区别|auto.offset.reset参数选择]_CodingPark编程公园
文章介绍本文主要介绍了kafka低阶api & 高阶api & 新api区别以及auyo.offset.reset的参数如何使用文章开头展示这张图的意义在于让读者清楚看到Broker |Partition |rep 三者关系低阶api & 高阶api & 新api区别低阶 API 的特点优点● 开发者自己控制offset,想从哪里读取就从哪里读取。● 自行控制连接分区,对分区自定义进行负载均衡● 对 zookeeper 的依赖性降低(如:offset.转载 2021-04-13 17:39:08 · 339 阅读 · 0 评论 -
kafka集群管理工具kafka-manager部署安装
一、kafka-manager 简介 为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时,这个管理工具也是一个非常好的可以快速浏览这个集群的工具,有如下功能:1.管理多个kafka集群2.便捷的检查kafka集群状...转载 2021-01-29 18:08:16 · 174 阅读 · 0 评论 -
Kafka HA Kafka一致性重要机制之ISR(kafka replica)
一、kafka replica当某个topic的replication-factor为N且N大于1时,每个Partition都会有N个副本(Replica)。kafka的replica包含leader与follower。 Replica的个数小于等于Broker的个数,也就是说,对于每个Partition而言,每个Broker上最多只会有一个Replica,因此可以使用Broker id 指定Partition的Replica。 所有Partition的Replica默认情况会均匀分布到所有B...转载 2021-01-27 18:08:58 · 212 阅读 · 1 评论 -
《Apache Kafka 实战》笔记 - 6.1.4 LEO和HW的更新机制
概念回顾LEO:last end offset,日志末端偏移量,记录了该副本对象底层日志文件中下一条消息的位移值。举一个例子,若LEO=10,那么表示在该副本日志上已经保存了10条消息,位移范围是[0,9]。HW:highwatermark,高水印值,任何一个副本对象的HW值一定不大于其LEO值,而小于或等于HW值的所有消息被认为是“已提交的”或“已备份的”。HW指向的是实实在在的消息,而LEO总是指向下一条待写入消息,也就是说LEO指向的位置上是没有消息的,例如HW值是7,这表示前8条消...转载 2021-01-27 18:07:54 · 348 阅读 · 0 评论 -
大数据_Kafka_副本策略,(选举,HW , LEO, epoch)
参考文章:1.《深入理解Kafka- 核心设计与实践原理》朱忠华2.Kafka设计解析(二十一)Kafka水位(high watermark)与leader epoch的讨论https://www.cnblogs.com/warehouse/p/9545429.html本文针对的是 Kafka 0.11 + 之后的 Kafka ,由于之前的 Kafka 可能出现丢数,数据不一致的问题,建议升级 Kafka 版本。 最近由于之前学习了 Zookeeper 的 ZAB...转载 2021-01-27 18:06:59 · 276 阅读 · 0 评论 -
Kafka的备份机制
kafka的备份策略Kafka的备份的单元是partition,也就是每个partition都都会有leader partiton和follow partiton。其中leader partition是用来进行和producer进行写交互,follow从leader副本进行拉数据进行同步,从而保证数据的冗余,防止数据丢失的目的。如图:follow副本是如何实现和leader副本进行数据同步的首先我们了解下一些必要的专有名词:ISR集合:ISR(In-Sync Replica)集...转载 2021-01-27 18:04:33 · 806 阅读 · 0 评论 -
kafka副本的复制
预备知识:kafka的消息可以分成不同的topic,一个topic中的消息分布在不同的partition中,一个partition有多个副本,这些副本都叫AR(assigned replica),分为一个leader和多个follower。分布式的一个核心技术就是复制。我们需要研究的问题是:follower是怎样从leader那里同步数据的?先来看下单个AR,都有哪些特点?每个副本都有LEO(Log End Offset), 它指向下一条要写的东西。每个副本都有HW(High Wate...转载 2021-01-27 18:03:30 · 173 阅读 · 0 评论 -
分布式发布订阅消息系统Kafka架构设计
我们为什么要搭建该系统Kafka是一个消息系统,原本开发自LinkedIn,用作LinkedIn的活动流(activity stream)和运营数据处理管道(pipeline)的基础。现在它已为多家不同类型的公司作为多种类型的数据管道(data pipeline)和消息系统使用。活动流数据是所有站点在对其网站使用情况做报表时要用到的数据中最常规的部分。活动数据包括页面访问量(page view)、被查看内容方面的信息以及搜索情况等内容。这种数据通常的处理方式是先把各种活动以日志的形式写入某种文...转载 2020-12-02 15:55:11 · 385 阅读 · 0 评论 -
An Overview of End-to-End Exactly-Once Processing in Apache Flink® (with Apache Kafka, too!)
This post is an adaptation ofPiotr Nowojski’s presentation from Flink Forward Berlin 2017. You can find the slides and a recording of the presentation on the Flink Forward Berlin website.Apache Flink 1.4.0, released in December 2017, introduced a sign...转载 2020-06-08 11:05:31 · 211 阅读 · 0 评论 -
【Kafka】kafka重装时,需要在zookeeper删除的元数据信息
需要使用 bin/zkCli.sh 命令进入zookeeper,然后使用 rmr 命令删除以下内容即可cluster:kafka集群信息config:配置信息consumer:消费者信息producer:生产者信息brokers :集群几点信息,topic信息admin:删除的topiccontroller:控制节点的broker.idcontroller_epoch:集群经过了...转载 2020-04-06 17:06:43 · 1525 阅读 · 0 评论 -
kafka不停止服务的情况下修改日志保留时间
kafka配置文件如下:broker.id=1port=9092host.name=ssy-kafka1num.network.threads=4num.io.threads=8socket.send.buffer.bytes=1048576socket.receive.buffer.bytes=1048576socket.request.max.bytes=10485...转载 2019-12-24 14:47:25 · 1168 阅读 · 0 评论 -
kafka修改分区和副本数
查看现在副本分配情况../bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --describe --topic test1Topic:test1 PartitionCount:3 ReplicationFactor:2 Configs: Topic: test1 Par...转载 2019-11-23 22:20:05 · 1269 阅读 · 0 评论 -
Kafka consumer group位移重设
本文阐述如何使用Kafka自带的kafka-consumer-groups.sh脚本随意设置消费者组(consumer group)的位移。需要特别强调的是, 这是0.11.0.0版本提供的新功能且只适用于新版本consumer。 在新版本之前,如果要为已有的consumer group调整位移必须要手动编写Java程序调用KafkaConsumer#seek方法,费时费力不说还容...转载 2019-11-08 10:17:33 · 462 阅读 · 0 评论