Kafka
文章平均质量分 85
未来在这儿
熟悉k8s、docker;熟悉Spark Streaming,Storm,Flink,Hadoop,Hive,Redis,Kafka,RocketMQ,ES;熟悉Socket,AIO/NIO技术,熟练使用Gradle、Maven、Spring Boot2、SpringMVC、MyBatis; 熟炼掌握Oracle、MySql、SQLite、MongoDB等数据库开发 熟悉React、Vue等框架 ;熟练运用Git/Github, SVN,CC等 熟悉报表工具BI、ETL工具Kettle ;熟悉Asp.net平台,熟悉C#;熟练开发安卓和ios
展开
-
kafka日志回收的详解及使用
发现磁盘使用率极速飙升,接近100%。kafka log的清理策略有两种:delete,compact, 默认是delete修复方式见下文:问题分析概述log.retention.check.interval.ms = 300000 【5min】kafka时间戳的作用基于时间戳的日志切分策略基于时间戳的日志清除策略根据时间戳来定位消息:之前的索引文件是根据offset信息的,从逻辑语义上并不方便使用,引入了时间戳之后,Kafka支持根据时间戳来查找定位消息原创 2023-03-29 00:10:15 · 441 阅读 · 4 评论 -
学习 Kafka 入门知识看这一篇就够了!(万字长文)
如果要降低潜在的延迟,就可以把参数值设置的小一些。跟其他与字节相关的配置参数一样,该参数指的是压缩后的消息大小,也就是说,只要压缩后的消息小于 mesage.max.bytes,那么消息的实际大小可以大于这个值。,比如我们经常回去淘宝购物,你打开淘宝的那一刻,你的登陆信息,登陆次数都会作为消息传输到 Kafka 后台,当你浏览购物的时候,你的浏览信息,你的搜索指数,你的购物爱好都会作为一个个消息传递给 Kafka 后台,然后淘宝会根据你的爱好做智能推荐,致使你的钱包从来都禁不住诱惑,那么这些生产者产生的。转载 2023-02-23 09:30:00 · 2887 阅读 · 5 评论 -
kafka listeners和advertised配置
listenerslisteners就是主要用来定义Kafka Broker的Listener的配置项。advertised.listenersadvertised.listeners参数的作用就是将Broker的Listener信息发布到Zookeeper中inter.broker.listener.nameinter.broker.listener.name:专门用于Kafka集群中Broker之间的通信转载 2023-02-08 15:45:46 · 4076 阅读 · 0 评论 -
kafka时间戳的详解及使用
Kafka从0.10.0.0版本起,在消息内新增加了个timestamp字段,在Kafka 0.10.1.0以前(不包含0.10.1.0),对于一个Topic而言,其Log Segment是由一个.log文档和一个.index文档组合而成,分别用来存储具体的消息数据和对应的偏移量。原创 2023-02-01 08:30:00 · 2961 阅读 · 3 评论 -
springboot中实现kafka指定offset消费
kafka消费过程难免会遇到需要重新消费的场景,例如我们消费到kafka数据之后需要进行存库操作,若某一时刻数据库down了,导致kafka消费的数据无法入库,为了弥补数据库down期间的数据损失,有一种做法我们可以指定kafka消费者的offset到之前某一时间的数值,然后重新进行消费。首先创建kafka消费服务kafka消费模型建立。转载 2023-01-18 11:22:54 · 3007 阅读 · 2 评论