kafka
文章平均质量分 86
kafka
懒鸟一枚
算是总结、沉淀吧……
展开
-
Kafka—ISR机制
ISR机制Kafka 中的 ISR(In-Sync Replicas)机制是一种用于确保数据可靠性和一致性的重要机制。ISR 是一组副本,它包括分区的领导者(Leader)和追随者(Follower)副本,这些副本与领导者保持数据同步。原创 2024-04-07 10:36:56 · 978 阅读 · 0 评论 -
Kafka保证百万级数据写入和重发问题
Kafka作为当下流行的高并发消息中间件,大量用于数据采集,实时处理等场景,那么它如何做到百万级写入速度呢?我们在享受它带来的高并发,高可靠等便利时,同时不得不面对可能存在的问题,项目中最常见的就是丢包,重发问题,这些问题在项目中又如何解决呢?下面让我们一点点揭开。原创 2023-11-01 16:33:17 · 386 阅读 · 0 评论 -
KAFKA (2.12-2.2.1)常用命令和kafka tool 工具使用
Kafka tool为kafka 较为通用的客户端连接工具之一,通过连接kafka直接明了的查看kafka数据、创建删除topic,添加kafka数据完成简单流程验证、查看topic消费情况等功能Kafka Tool 工具下载地址:Kafka 连接配置1)启动 Kafka Tool在安装目录下,双击可执行文件 kafkatool.exe,启动 Kafka Tool2)配置 Kafka 连接信息。原创 2023-03-29 10:40:35 · 5034 阅读 · 0 评论 -
Kafka消费分组和分区分配策略
同一个消费组里的消费者不能消费同一个分区,不同消费组的消费组可以消费同一个分区(即同一个消费组里面的消费者只能在一个分区中)原创 2023-02-22 15:36:07 · 3451 阅读 · 0 评论 -
Kafka参数调优(一)-生产者Producer
kafka product优化转载 2023-02-22 14:23:51 · 528 阅读 · 0 评论 -
Kafka参数调优(二)-消费者Consumer
为了尽量避免出现重复数据(假如,某个消费者poll消息后,应用正在处理消息,在3秒后kafka进行了重平衡,那么由于没有更新位移导致重平衡后这部分消息重复消费)和数据丢失,可以把它设为 false,由自己控制何时提交偏移量。将自动提交改成手动提交(enable.auto.commit=false),每次消费完再手动异步提交offset,之后消费者再去Broker拉取新消息,这样可以做到按照消费能力拉取消息,减轻消费者的压力。该属性指定了消费者是否自动提交偏移量,默认值是true。转载 2023-02-22 14:10:21 · 348 阅读 · 0 评论 -
kafka架构体系
Kafka是一个由Scala和Java编写的企业级的消息发布和订阅系统,最早是由Linkedin公司开发,最终开源到Apache软件基金会的项目。Kafka是一个分布式的,支持分区的,多副本的和多订阅者的高吞吐量的消息系统,被广泛应用在应用解耦、异步处理、限流削峰和消息驱动等场景。本文将针对Kafka的架构和相关组件进行简单的介绍。在介绍Kafka的架构之前,我们先了解一下Kafk的核心概念。原创 2023-02-21 16:43:58 · 896 阅读 · 0 评论