【javassist】使用javassist修改kafka源码AbstractCoordinator类

最新推荐文章于 2024-08-26 20:28:58 发布
最新推荐文章于 2024-08-26 20:28:58 发布
阅读量366 收藏
点赞数
分类专栏： 大数据-kafka 文章标签： kafka java 分布式
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/126042977
版权
大数据-kafka 专栏收录该内容
402 篇文章 637 订阅 ¥99.90 ¥299.90
订阅专栏
本文介绍了如何使用javassist工具动态修改kafka的AbstractCoordinator类，以解决消费组死掉的问题。作者在遇到消费组无法正常工作时，通过分析源码决定修改相关方法，并详细记录了maven配置、agent类、转换类的编写过程，以及在实际使用中遇到的错误和解决方法。最后，说明了如何在应用中引入改造后的Jar文件。
摘要由CSDN通过智能技术生成

文章目录

在这里插入图片描述

1.概述

在以前遇到kafka消费组死掉，一直没去确认kafka什么情况下会导致消费组死掉，因为直接看源码，看待调用的地方比较多，好几次都想直接修改源码，但是因为要改动的比较多，怕以后不兼容，然后前几天学了字节码相关的，发现这个非常的好用。

关于消费组死掉的请参考：

【kafka】kafka 查看 GroupCoordinator 和 ConsumerCoordinator

【kafka】消费组 死掉 kafka Marking the coordinator dead for group

【FLink】Flink 消费 kafka 消费组 死掉 Marking the coordinator dead for group 造成数据重复消费

了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【字节码】Javassist如何表示类变量
九师兄
05-11 202
【javassist】使用javassist修改kafka源码AbstractCoordinator类一度让我陷入误区。如何在方法中表示类变量呢？下面是要修改的方法比如，this.coordinator要在字节码中表示，开始我参考【javassist】javassist 入门案例 生成类因为方法参数都是用$1这样表示的，但是我犯难了，这里是类变量，我以为要先获取类属性，常量池之类的，然后再替换这里的属性，后来发现不是，可以直接使用。这里记录一下犯蠢的过程。
Java笔记：使用javassist修改class文件内方法
热情、奔放、快乐编程！
09-24 2775
在工作突然有一个需求。线上运维的一个tomcat的web项目，运行的程序不正常。需要修改代码。可是这个项目代码非常的老，并且公司存储的源代码跟线上的不一致。我了个擦，没有源代码但是还要结局客户的问题。只能到线上将对应程序的class文件拷贝到本地进行修改，每修改一部分就上传到线上覆盖掉之前的class文件，重启tomcat进行测试。（过程想当麻烦）修改class字节码文件用到 IDEA工具来反编译class进行查看代码，javassist工具进行修改。
Mybatis 懒加载使用及源码分析
m0_67698950的博客
08-24 173
Mybatis。
Apache Kafka源码剖析:第2篇 Kafka网络引擎: 核心字段&初始化
weixin_33713350的博客
08-12 116
2019独角兽企业重金招聘Python工程师标准>>> ...
使用 javassist 修改字节码实现 eureka-client 监听服务启动
weixin_34403693的博客
11-14 182
项目中一些服务需要监听其他微服务的启动信息，需要监听到启动后主动向其发请求拉取一些配置等。 可是eureka-client并未提供监听其他服务启动的事件，eureka-server倒是提供了事件， 可以在自己的eureka-server中监听服务启动，监听后发送服务启动信息到kafka这些消息队列，服务监听kafka消息, 这种方式要依赖消息队列: 源码； 或者改造eureka-client, 由...
启动kafka无反应_kafka启动未成功?
weixin_33980343的博客
12-23 3480
kafka启动卡在这一行不动[2016-11-25 17:34:26,630] INFO [Kafka Server 0], started (kafka.server.KafkaServer)kafka的启动日志如下:[root@VM_102_155_centos kafka_2.11-0.10.1.0]# bin/kafka-server-start.sh config/server.prop...
Docker中kafka集群管理工具kafka-manager部署安装
无
11-23 4766
一、kafka-manager 简介        为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时，这个管理工具也是一个非常好...
2024最新Java面试题及答案，搞定kafka看这一篇就够了
2401_84407887的博客
04-20 833
RPC(Remote Procedure Call)即远程过程调用，允许一台计算机调用另一台计算机上的程序得到结果，而代码中不需要做额外的编程，就像在本地调用一样。现在互联网应用的量级越来越大，单台计算机的能力有限，需要借助可扩展的计算机集群来完成，分布式的应用可以借助RPC来完成机器之间的调用。
快速搭建开发环境 - Kafka 和 Kafka Eagle 监控(最新版本)
极客公园的博客
08-21 528
快速搭建开发环境 - Kafka 和 Kafka Eagle 监控(最新版本) 关键词：kafka、kafka环境搭建、流处理框架、kafka eagle 、kafka 监控 高吞吐量可扩展永久存储高可用性生态系统内置流处理连接到几乎任何东西客户端库大型生态系统开源工具信任和易用性关键任务受到数千个组织的信任庞大的用户社区丰富的在线资源三、搭建一个生产级别的 Kafka准备工作硬件环境软件环境安装 JDK离线安装 Kafka四、Kafka 使用启动 Zo
Flink接收Kafka和JSON反序列化
codragon的博客
10-26 3043
目录Flink接收Kafka和JSON反序列化使用ObjectMapper反序列化接收Kfaka事件消息 Flink接收Kafka和JSON反序列化 使用ObjectMapper反序列化 import com.fasterxml.jackson.core.JsonProcessingException; import com.fasterxml.jackson.databind.ObjectMapper; ... ObjectMapper om = new ObjectMapper();
【javassist】javassist.CannotCompileException: [source error] no such class
九师兄
04-21 759
【javassist】使用javassist修改kafka源码AbstractCoordinator类原始的方法如下，中间的try catch是我加的。// 九师兄 if(this . coordinator!= null) {try {throw new IllegalArgumentException("消费组死掉");log . error("消费组死掉异常栈：" , e);
kafka发送消息-自定义消息发送的拦截器
qq_46112274的博客
08-24 721
kafka发送消息-自定义消息发送的拦截器
浅谈Kafka（二）
快乐江小鱼的博客
08-23 826
在Kafka启动时会在所有的broker中选择一个controller，leader与follower是针对partition，而controller是针对broker的。创建主题、添加分区、修改副本数量之类的管理任务都是由controller来完成的。Kafka分区leader的选举也是由controller决定的。controller选举流程，在集群启动时每个broker都会尝试去zookeeper上注册成为controller(临时节点)。
Kafka
放下键盘
08-25 872
生产者向topic发送消息，消息顺序存储在kafka的日志文件当中。消费者从最后一条消息的下一条或者最开始那一条进行消费。
Kafka队列：分布式系统的消息引擎
最新发布
qq_56438516的博客
08-26 813
Apache Kafka是一个分布式流处理平台，最初由LinkedIn开发，后来成为Apache软件基金会的一部分。Kafka以其高性能、高吞吐量和可扩展性而闻名，广泛用于构建实时数据管道和流处理应用程序。在本文中，我们将探讨Kafka队列的基本概念、工作原理以及它在现代应用程序中的应用。
kafka的12个重要概念
qq_46112274的博客
08-25 700
kafka的12个重要概念
kafka操作
q2570558854的博客
08-25 240
kafka 读取和写入
Kafka的生产者和消费者机制
m0_45164511的博客
08-25 988
当Producer的acks设置为1或-1时，Producer每次发送消息都是需要获取Broker端返回的RecordMetadate的。这个过程就需要两次跨网络请求。如果要保证消息安全，那么对于每个消息，这两次网络请求就必须要求是幂等的。但是，网络是不靠谱的，在高并发场景下，往往没办法保证这两个请求是幂等的。Producer发送消息的过程中，如果第一步请求成功了， 但是第二步却没有返回。这时，Producer就会认为消息发送失败了。那么Producer必然会发起重试。
使用Javassist操作Java字节码
它简化了原本复杂的字节码操作，使得开发者能够在不重新编译源码的情况下修改和增强现有Java类的行为。 通过深入学习Javassist，开发者可以更加灵活地操控Java应用程序，实现许多静态类型语言中难以实现的功能，如...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值