第四章 Kafka高级API——offset自动控制

最新推荐文章于 2023-09-17 21:42:13 发布
最新推荐文章于 2023-09-17 21:42:13 发布
阅读量319 收藏
点赞数 2
分类专栏： kafka 文章标签： java kafka 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Firelearn/article/details/117196107
版权

因为基础API中地生产者，消费者，自定义分区，序列化，拦截器等等都是比较基础的知识，所以我们就先略过啦~

今天说的是kafka高级中的offset自动控制

offset自动控制

偏移量的首次消费策略

第一次访问kafka服务器的时候

Kafka消费者默认对于未订阅的topic的offset的时候,也就是系统并没有存储该消费者的消费分区的记录信息，默认Kafka消费者的默认首次消费策略:latest

auto.offset.reset=latest

  • earliest -自动将偏移量重置为最早的偏移量
  • latest -自动将偏移量重置为最新的偏移量
  • none -如果未找到消费者组的先前偏移量,则向消费者抛出异常Kafka消费者在消费数据的时候默认会定期的提交消费的偏移量，这样就可以保证所有的消息至少可以被消费者消费1次,用户可以通过以下两个参数配置:
    enable.auto.commit = true默认
    auto.commit.interval.ms = 5000默认
    如果用户需要自己管理offset的自动提交，可以关闭offset的自动提交，手动管理offset提交的偏移量,注意用户提交的offset偏移量永远都要比本次消费的偏移量+1，因为提交的offset是kafka消费者下一次抓取数据的位置。

测试：我们先使用生产者发送五条

latest 消费不到

在这里插入图片描述
earliest 可以消费得到在这里插入图片描述
后续的消费行为都是一样的，消费者在消费后会自动提交偏移量

偏移量的自动提交问题

先在这里插入图片描述
10秒以内关闭 再关再开 还可以拿到数据

关闭自动提交 就不会提交给kafka服务器了
在这里插入图片描述
下一节我们讲Acks&Retries~

baskbull
关注
专栏目录
Kafka API实战
悦分享
09-05 244
消息队列内部实现原理：（1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是如此。（2）发布/订阅模式（一对多，数据生产后，推送给所有订阅者）发布订阅模型则是一个基于推送的消息传送模型。
Kafka API和监控
weixin_43799054的博客
03-31 1707
API Producer API 消息发送流程 Kafka 的 Producer 发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程——main 线程和 Sender 线程，以及一个线程共享变量——RecordAccumulator。main 线程将消息发送给 RecordAccumulator，Sender 线程不断从 RecordAccumulator 中拉取消息发送到 Ka...
Kafka 低级API 查看topic
u011779268的博客
06-13 2220
package com.zsb.test.util; import java.util.ArrayList; import java.util.Collections; import java.util.Date; import java.util.HashMap; import java.util.List; import java.util.Map; import java.util.Tree
Kafka-Topic管理、API使用
weixin_49442658的博客
09-17 313
Kafka-Topic管理、API使用Kafka环境搭建APIOffset自动控制Acks & RetriesRetries幂等性保证事务控制Topic管理 Kafka 环境搭建       1.安装JDK，配置JAVA_HOME       2.配置主机名和IP映射       3.关闭防火墙&防火墙开机自启动
kafka 生产/消费API、offset管理/原理、kafka命令
あずにゃん梓喵的博客
04-26 875
大数据组件使用 总文章 kafka 生产/消费API、offset管理/原理、kafka命令 kafka 命令、API Kafka安装、原理、使用 mapreduce 实时消费 kafka 数据 创建topic kafka-topics --create --zookeeper node1:2181 --replication-factor 3 --partitions 3 ...
java 获取kafka lag,kafka通过java api 获取当前消费组offset/logsize/lag信息，实现消费延迟监控...
weixin_30070663的博客
03-11 890
package com.fengjr.elk.web.write;import java.util.ArrayList;import java.util.Collections;import java.util.Date;import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Tree...
Kafka auto.offset.reset值详解
menghuannvxia的专栏
06-12 437
昨天在写一个java消费kafka数据的实例，明明设置auto.offset.reset为earliest，但还是不从头开始消费，官网给出的含义太抽象了。 earliest: automatically reset the offset to the earliest offset，自动将偏移量置为最早的。难道不是topic中各分区的开始？结果还真不是，具体含义如下： auto.offset....
kafka——Consumer API
m0_50140502的博客
11-30 341
一、Kafka 核心 API 下图是官方文档中的一个图，形象的描述了能与 Kafka集成的客户端类型 Kafka的五类客户端API类型如下： AdminClient API：允许管理和检测Topic、broker以及其他Kafka实例，与Kafka自带的脚本命令作用类似。 Producer API：发布消息到1个或多个Topic，也就是生产者或者说发布方需要用到的API。 Consumer API：订阅1个或多个Topic，并处理产生的消息，也就是消费者或者说订阅方需要用到的API。 Stream API：
Kafka——学习笔记
weixin_48626604的博客
04-07 299
Kafka学习笔记 1.Kafka概述 1.1 定义 传统定义：一个分布式的基于发布、订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。 发布、订阅：消息的发布者不会将消息直接发送给特定的订阅者，而是将发布的消息分为不同的类型，订阅者只接收感兴趣的消息 最新定义：一个开源的分布式事件流平台（Event Streaming Platform），被千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。 1.2 传统消息队列的应用场景 传统的消息队列的主要应用场景包括：缓
大数据面试——Kafka篇
最新发布
whynotchineseid的博客
09-17 357
主要作用有：（1）消息传递系统；因为它具有高吞吐量和低延迟的特点，能够在分布式系统中可靠地传输大量数据消息。（2）流处理平台：Kafka支持实时数据流处理，在数据流中进行转换、聚合和分析，并将结果输出到其他系统中。（3） 存储系统；Kafka可持久化存储，可以将数据持久保存在磁盘上，以便进行后续的处理和分析。基于以上作用，可以应用于日志的收集聚合、实时检测分析系统、消息队列、事件驱动架构等场景。
Flink（二十五）—— 结合 Kafka 构建端到端的 Exactly-Once 处理
weixin_42073629的博客
10-17 182
Apache Flink 自2017年12月发布的1.4.0版本开始，为流计算引入了一个重要的里程碑特性：TwoPhaseCommitSinkFunction（相关的 Jira）。它提取了两阶段提交协议的通用逻辑，使得通过 Flink 来构建端到端的 Exactly-Once 程序成为可能。同时支持一些数据源（source）和输出端（sink），包括 Apache Kafka 0.11及更高版本。它提供了一个抽象层，用户只需要实现少数方法就能实现端到端的 Exactly-Once 语义。 有关 TwoPh
java自己手动控制kafka的offset
热门推荐
allen的博客
03-21 2万+
之前使用kafka的KafkaStream：http://blog.csdn.net/qq_20641565/article/details/60810174，让每个消费者和对应的patition建立对应的流来读取kafka上面的数据，如果comsumer得到数据，那么kafka就会自动去维护该comsumer的offset，例如在获取到kafka的消息后正准备入库（未入库），但是消费者挂了，那么如
kafka offset判断
卧龙居
02-24 1万+
在使用Spark streaming读取kafka数据时，为了避免数据丢失，我们会在zookeeper中保存kafka的topic对应的partition的offset信息（每次执行成功后，才更新zk中的offset信息）；从而保证执行失败的下一轮，可以从特定的offset开始读。 实现方式类似下面文章所示： http://blog.csdn.net/rongyongfeikai2/artic
kafka 消费者offset记录位置和方式
阿正的博客
05-24 525
我们大家都知道，kafka消费者在会保存其消费的进度，也就是offset，存储的位置根据选用的kafka api不同而不同。 首先来说说消费者如果是根据javaapi来消费，也就是【kafka.javaapi.consumer.ConsumerConnector】，我们会配置参数【zookeeper.connect】来消费。这种情况下，消费者的offset会更新到zookeeper的【consu...
kafka高级api和低级api的区别和联系
数据技术控
07-15 1715
高级 API 的特点优点 ● 高级API写起来简单 ● 不需要去自行去管理offset，系统通过zookeeper自行管理 ● 不需要管理分区，副本等情况，系统自动管理 ● 消费者断线会自动根据上一次记录在 zookeeper中的offset去接着获取数据（默认设置5s更新一下 zookeeper 中存的的offset）,版本为0.10.2 ● 可以使用group来区分对访问同一个topic的不同...
kafka[低阶api & 高阶api & 新api区别｜auto.offset.reset参数选择]_CodingPark编程公园
CodingPark 编程公园
05-09 1万+
本文主要介绍了kafka低阶api&高阶api&新api区别以及auyo.offset.reset的参数如何使用
storm集成kafka旧版API（offset In Zk）示例
Simon的博客
11-01 487
编写主函数启动类的Topo package com.simon.storm.kafka; import org.apache.storm.Config; import org.apache.storm.LocalCluster; import org.apache.storm.kafka.BrokerHosts; import org.apache.storm.kafka.KafkaSpou...
深入解析Kafka的offset管理
longzorg_cn的博客
12-28 5030
但是无法做到真正的负载均衡，因为实际系统中的每个生产者产生的消息量及每个Broker的消息存储量都是不一样的，如果有些生产者产生的消息远多于其他生产者的话，那么会导致不同的Broker接收到的消息总数差异巨大，同时，生产者也无法实时感知到Broker的新增和删除。在众多leader的转移过程中，就会产生leader不均衡现象，可能一小部分broker上有大量的leader，影响了整个集群的性能，所以就需要把leader调整回最初的broker上，这就需要Preferred leader选举。
Kafka(三)：kafka消费者
qq_39198749的博客
05-09 3631
文章目录1. 消费方式2. 消费者总体工作流程2.1 消费者组2.2 消费者组初始化流程2.3 消费者组详细消费流程3 消费者重要参数 1. 消费方式 pull(拉)模式 consumer采用从broker中主动拉去数据 kafka采用这种方式 不足之处：如果kafka没有数据，消费者可能会陷入循环之中，一直返回空数据 push(推)模式 kafka没有采用这种方式，因为由broker决定消息发送速率，很难适应所有消费者的消费速率 2. 消费者总体工作流程 2.1 消费者组 由多个consumer组
Java调用Kafka API详解与实战教程
在Java中调用Apache Kafka API是一项基础且重要的任务，尤其对于构建分布式消息传递系统至关重要。这篇博客文章旨在为已经搭建好Kafka环境的开发者提供详细的指南，以便他们能够有效地与Kafka进行交互。文章分为五个...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值