从kafka读取数据后 数据会自动删除吗

最新推荐文章于 2024-07-01 10:46:27 发布
最新推荐文章于 2024-07-01 10:46:27 发布
阅读量1.6w 收藏 23
点赞数 9
分类专栏： # kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38567039/article/details/92801012
版权

 

不会，kafka中数据的删除跟有没有消费者消费完全无关。数据的删除，只跟kafka broker上面上面的这两个配置有关：

1

2

log.retention.hours=48 #数据最多保存48小时

log.retention.bytes=1073741824 #数据最多1G

tiger_angel
关注
专栏目录
【kafka技术篇】kafka数据到底会不会丢失？
Chad_it的博客
10-11 1840
kafka数据到底会不会丢失？为什么会丢失，怎么避免
【问题排查】kafka0.10.x过期数据不会自动删除问题
敲码的汉子
08-15 2254
摘要 线上环境kafka集群空间一共是8TB*12(disk)*4(node)=384TB，容量算是非常充裕了，而且每个topic设置的数据过期时间都是15天，但是发现磁盘容量已经80%。预估了下每天的数据增量，存满80%至少得5个月的数据。是过期数据没有删除吗？还是配置不起效？还是其他原因。 问题情况 检查了多个topic 节点上kafka-logs目录文件夹中的数据情况，发现如下情况。 1.绝...
在Kafka3.7.0中进行SASL_SCRAM认证配置_不使用自带zookeeper
最新发布
u010782920的博客
07-01 859
kafka3.7.0 sasl_scram 使用单独下载的zookeeper
kafka 重复消费和数据丢失_Kafka 的数据丢失和重复消费
weixin_39965490的博客
11-29 169
本文将从消息的生产端和消息的消费端分析，数据是如何丢失的？数据是如何出现重复消费的，如何解决上述这种情况?利用 Kafka 高吞吐、可分区、可复制的特性, 在实时数据流分析应用领域，Kafka 在此大展身手。1/ 生产端 Producer消息格式：每个消息是一个 ProducerRecord 对象，必须指定消息所属的 Topic 和消息值 Value ，此外还可以指定消息所属的 Partitio...
Kafka系列之--kafka在zookeeper中的存储
weixin_42448883的博客
06-18 131
kafka 重复消费和数据丢失_kafka 总结
weixin_39983554的博客
11-21 800
Kafka在zookeeper中存储结构图：什么是kafka？Kafka是一个高吞吐量、低延迟分布式的消息队列系统kafka是分布式发布-订阅消息系统，是一种分布式的消息队列工具kafka是一个分布式的，可分区的，可复制的消息系统kafka对消息保存的时候根据topic进行分类，发送消息者称为Producer，消息接受者称为consumer，此外kafka集群由多个kafka实例组成，每个实例称为...
走进大数据丨 Kafka（一）
ItStar
11-14 214
kafka概述Kafka是一个分布式，分区的，多副本的，多订阅者，基于zookeeper协调的的分布式日志系统，常见可用于web/nginx日志，消息服务等等。Kafka设计目标1.以时...
Kafka消费——从kafka中读取数据
weixin_41082203的博客
11-20 2249
一：读取数据 Kafka的消费者(Customer)和消费者组(Customer Group) 1.两种常用的消息模型：队列模型和发布-订阅模型 队列的处理方式是一组消费者从服务器读取消息，一条消息只有其中一个消费之来处理。 发布-订阅模型中，消息被广播给所有的消费者，接受到消息的消费者都可以处理此消息。 2.Kafka的消费者和消费者组 Kafka为这两种模型提供了单一的消费者抽象模型：消费者组...
kafka实时读取sqlserver数据_Kafka Connect 实时读取MSSQL数据到Kafka
weixin_36377635的博客
12-24 810
在处理实时数据时，需要即时地获得 数据库 表中数据的变化，然后将数据变化发送到Kafka中。这篇文章将介绍如何使用Kafka Connector完成这一工作。当获取实时数据时，数据源需要支持对数据变化进行反馈。不同的数据源采用了不同的技术和方法实现该功能，因为我们的业务数据库是MS SQL Server，因此这篇文章采用MSQL作为数据源。选择Connector首先需要选择Connector，不同...
kafka监听topic消费_Kafka消费者-从Kafka读取数据
weixin_39747296的博客
12-22 2187
(1)Customer和Customer Group(1)两种常用的消息模型队列模型(queuing)和发布-订阅模型(publish-subscribe)。队列的处理方式是一组消费者从服务器读取消息，一条消息只由其中的一个消费者来处理。发布-订阅模型中，消息被广播给所有的消费者，接收到消息的消费者都可以处理此消息。(2)Kafka的消费者和消费者组Kafka为这两种模型提供了单一的消费者抽象模型...
kafka实时读取sqlserver数据_Debezium SQL Server Source Connector+Kafka+Spark+MySQL 实时数据处理...
weixin_36362920的博客
12-24 1876
写在前面前段时间在实时获取SQLServer数据库变化时候，整个过程可谓是坎坷。然后就想在这里记录一下。ps:后面应该会将数据放到Kudu上。然后主要记录一下，整个组件使用和组件对接过程中一些注意点和坑。开始吧在处理实时数据时，需要即时地获得数据库表中数据的变化，然后将数据变化发送到Kafka中。不同的数据库有不同的组件进行处理。常见的MySQL数据库，就有比较多的支持 canal ，maxwel...
Debezium系列之：基于debezium采集数据到kafka，再从kafka将数据流式传输到下游数据库
zhengzaifeidelushang的博客
02-20 912
Debezium系列之：基于debezium采集数据到kafka，再从kafka将数据流式传输到下游数据库
Kafka生产消费数据丢失和优化小结
削土豆的人er的园子
10-14 928
我们经常会遇到kafka数据丢失的问题，所以将遇到过的或有可能造成数据丢失的问题进行个小总结。 其实在kafka处理数据的流程有很多，把这些流程梳理一遍，有助于分析数据丢失的情况，从这个图中可以看出数据流向，图中涉及的所以过程都可能造成数据的丢失。 首先要确定是否有业务数据写入 再明确数据是在kafka之前就已经丢失还是消费端丢失数据的？ 2.1 如果是在写入端丢失数据，那么每次结果应该完全一样(在写入端没有问题的前提下)。 2.2 如果是在消费端丢失数据，那么换个消费group重新消费，多次消费结果完
Kafka在zookeeper中的存储情况
chuxue1989的专栏
07-21 320
目录机构 通过zkCli.sh ls命令查看 [cluster, controller_epoch, controller, storm, brokers, zookeeper, admin, isr_change_notification, consumers, log_dir_event_notification, latest_producer_id_block, config] co...
kafka在zookeeper中存储结构
weixin_30872671的博客
07-07 201
1.topic注册信息 /brokers/topics/[topic] : 存储某个topic的partitions所有分配信息 Schema: { "version": "版本编号目前固定为数字1", "partitions": { "partitionId编号": [ 同步副本组brokerId列表...
Kafka深度讲解+Zookeeper存储
zhuhailong
10-29 1229
Kafka 深度讲解 + Zookeeper元数据存储
kafka消费数据成功后在将服务器的数据删除（自动提交offset）
weixin_49200545的博客
09-27 5467
自动提交offset 第一步 配置文件修改 将 #–> 设置自动提交offset 设置为false enable-auto-commit: false spring: profiles: active: local kafka: consumer: # 指定kafka server的地址，集群配多个，中间，逗号隔开 bootstrap-servers: 175.24.42.150:9092 #如果'enable.auto.commit'为
kafka不丢失数据与不重复消费数据
热门推荐
孙大迪迪的博客
01-12 1万+
一、不丢失数据 1.生产者数据不丢失 同步模式：配置=1（只有Leader收到，-1所有副本成功，0不等待）。leader partition挂了，数据就会丢失。 解决：设置为-1保证produce写入所有副本算成功 　　　　　　　　　　producer.type=sync 　　　　　　　　　　request.required.acks=-1 异步模式，当缓冲区满了，如果配置为0（没有收到确认，一...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值