如何把kafka Log4j1.x升级到Log4j2.x ？

最新推荐文章于 2024-08-07 13:58:43 发布
最新推荐文章于 2024-08-07 13:58:43 发布
阅读量4.4k 收藏 2
点赞数 3
文章标签： java linux zookeeper 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/OpenSkill/article/details/123437215
版权

b6857538ff0c2879f0e12e39851f379e.gif

背景说明

在去年2021-12-09左右，那时候log4j 2的远程代码执行漏洞，Java程序员和运维在朋友圈疯狂转发，当初定义的CVE号为：CVE-2021-44228 ，然后影响版本只是Apache Log4j 2.x <= 2.14.1受该漏洞影响，Log4j1.x声明是不受到此漏洞影响范围内的，临时构建出来了2.15.0-rc2防护版本，但是后续不让人消停啊。

官方于又于2021.12.13号官方已经发布稳定修复漏洞版本 https://logging.apache.org/log4j/2.x/download.html  「2.16.0」，看了一下提交记录，删除了Messge Lookups的方法。

大家以为的终极版本2.16.0出来后，又爆出DOS拒绝服务攻击漏洞，所以官方在「2021.12.17」又推出了最新版本 「2.17.0」

继官方推出2.17.0版本修复DOS拒绝服务攻击后，又出现远程代码执行 (RCE) 攻击的特征漏洞，官方于2021.12.28推出了 「2.17.1」  版本，虽然此漏洞的利用条件极高，需要可以控制配置文件，但是官方评分还是6.6分（https://logging.apache.org/log4j/2.x/security.html#），属于「中危漏洞」。

最近看官方，2022-02-23又升级到2.17.2了，但是看官方安全说明是正常迭代，不涉及修复关联漏洞。

a9df1d35d7d9cb67baf5027df63172c3.png

利用Java语言开发的程序其实好多都在用Log4j日志框架，当然也包括我们常用的开源服务kafka、zookeeper、Nacos等。

比如这些开源的服务就有一个特征，就是当你线上使用是较老一点点的版本，基本里面引用的都是Log4j 1版本，虽然log4j 2的远程代码执行漏洞没有连累1.x版本，但是1.x版本也有漏洞(CVE-2020-9488 CVE-2019-17571), 而且1.x版本是EOL状态的版本，并且最新1.x版本的包是没有解决漏洞问题的。

b3f8aeca50f9edbd8cd099e392509422.png

b4213e6207f76f33bf6d2e3e0ee80e3e.png

d22c1f5f532b20731c7aa7e6e7452e3d.png

EOL代表不再维护迭代的版本, 所以一般对于安全性要求高的公司，这种情况是不允许的，所以理想的处理办法是在不修改源码的情况下能够修复这些漏洞，同时满足生产安全要求，如果实在不行，只能让有编程开发能力的同学拉取官方对应版本代码分支重新编译一个版本。

从log4j2的官网https://logging.apache.org/log4j/2.x/了解到，log4j1.x和log4j2.x是存在一定的兼容性的，它们实现的都是SLF4J的API，理论上来说是可以通过替换Jar包切换的, 所以今天我这里介绍一下Kafka和Zookeepr替换修复的方法。

我这里还是以官方最新发布的2.17.2的版本为例子。

zookeeper从log4j1.x升级到log4j2.x

基本信息，kafka版本：3.4.14  操作系统：Centos7.9  Java版本：1.8.0_152 ，升级过程如下。

1、下载官方最新log4j 2.17.2版本包并解压

wget --no-check-certificate https://dlcdn.apache.org/logging/log4j/2.17.2/apache-log4j-2.17.2-bin.tar.gz

tar xf apache-log4j-2.17.2-bin.tar.gz

2、同时下载要替换的slf4j-api 1.7.32版本jar包

wget --no-check-certificate https://repo1.maven.org/maven2/org/slf4j/slf4j-api/1.7.32/slf4j-api-1.7.32.jar

3、查询zookeeper引用信息

[root@labs zookeeper]# ls lib/ |grep -Ei 'log4j|slf'
log4j-1.2.17.jar
slf4j-api-1.7.25.jar
slf4j-log4j12-1.7.25.jar

然后分别删除slf4j-log4j12、slf4j-api和log4j三个包：

[root@labs kafka]# rm -f lib/{slf4j-log4j12-1.7.25.jar,slf4j-api-1.7.25.jar,log4j-1.2.17.jar}

4、替换新包

分别把apache-log4j-2.17.2-bin目录下的：

log4j-1.2-api-2.17.2.jar
log4j-api-2.17.2.jar
log4j-core-2.17.2.jar
log4j-slf4j-impl-2.17.2.jar

和slef4j-api-1.7.32.jar同步到zookeeper安装目录下的lib目录下。

5、关闭jmx

如果不关闭jmx，zookeeper启动会报类(org.apache.log4j.jmx.HierarchyDynamicMBean)找不到，详情如下：

[root@labs zookeeper]# cat /data/logs/zookeeper/zookeeper.out 
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/log4j/jmx/HierarchyDynamicMBean
        at org.apache.zookeeper.jmx.ManagedUtil.registerLog4jMBeans(ManagedUtil.java:51)
        at org.apache.zookeeper.server.ZooKeeperServerMain.initializeAndRun(ZooKeeperServerMain.java:77)
        at org.apache.zookeeper.server.ZooKeeperServerMain.main(ZooKeeperServerMain.java:55)
        at org.apache.zookeeper.server.quorum.QuorumPeerMain.initializeAndRun(QuorumPeerMain.java:119)
        at org.apache.zookeeper.server.quorum.QuorumPeerMain.main(QuorumPeerMain.java:81)
Caused by: java.lang.ClassNotFoundException: org.apache.log4j.jmx.HierarchyDynamicMBean
        at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:338)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
        ... 5 more

ebd645002030684b40925023d687eb05.png

如上源码可知前置条件是JMX开启才才会加载此类实例化，并不是直接import的, 因为zookeeper启动可以设置参数来控制是否启用jmx，所以简单粗暴的方式就是，直接修改启动脚本bin/zkServer.sh，然后启动。

ZOOMAIN="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.local.only=$JMXLOCALONLY -Dzookeeper.jmx.log4j.disable=true org.apache.zookeeper.server.quorum.QuorumPeerMain"

但是这有个问题，就是你全局禁用了，so，可能影响jmx监控数据的采集，所以可以看看源代码尝试完全修复 or 临时跳过，最简单：

if (Boolean.getBoolean("zookeeper.jmx.log4j.disable") == true) {
            return;
        }
改成：
if (1 == 1) {
            return;
        }

5、测试可用性

  1. 启动zookeeper服务，看看是否可以正常运行；

  2. 然后利用zkCli.sh客户端连接，进行create，get等操作验证。

kafka从log4j1.x升级到log4j2.x

基本信息，kafka版本：2.2.2   操作系统：Centos7.9  Java版本：1.8.0_152 ，升级过程如下。

1、下载官方最新log4j 2.17.2版本包并解压

wget --no-check-certificate https://dlcdn.apache.org/logging/log4j/2.17.2/apache-log4j-2.17.2-bin.tar.gz

tar xf apache-log4j-2.17.2-bin.tar.gz

2、同时下载要替换的slf4j-api 1.7.32版本jar包

wget --no-check-certificate https://repo1.maven.org/maven2/org/slf4j/slf4j-api/1.7.32/slf4j-api-1.7.32.jar

3、查询kafka引用信息

[root@labs kafka]# ls libs/ |grep -Ei 'slf|log4j'
kafka-log4j-appender-2.2.2.jar
log4j-1.2.17.jar
slf4j-api-1.7.25.jar
slf4j-log4j12-1.7.25.jar

然后分别删除slf4j-log4j12、slf4j-api和log4j三个包：

[root@labs kafka]# rm -f libs/{slf4j-log4j12-1.7.25.jar,slf4j-api-1.7.25.jar,log4j-1.2.17.jar}

4、替换新包

分别把apache-log4j-2.17.2-bin目录下的：

log4j-1.2-api-2.17.2.jar
log4j-api-2.17.2.jar
log4j-core-2.17.2.jar
log4j-slf4j-impl-2.17.2.jar

和slef4j-api-1.7.32.jar同步到kafka安装目录下的libs目录下。

5、测试可用性

  1. 启动kafka服务看看可以正常启动吗；

  2. 利用自带生产者工具kafka-console-producer.sh和消费者工具kafka-console-consumer.sh测试功能。

b03edff59c8b3cc50536582994dafd1f.png

后场技术
关注
Log4j 1.x 升级 Log4j 2.x （调研和升级）
whbing1471的博客
07-03 1万+
因为公司业务需要，目前的log4j 1.x 遇到死锁，需要升级到Log4j 2.x。现在对目前的日志框架进行调研，并根据目前的现状提出升级的方法。 一引言 对于一个应用程序来说日志记录是必不可少的一部分。线上问题追踪，基于日志的业务逻辑统计分析等都离不日志。Java领域存在多种框架，目前比较常用的日志框架包括：Log4j、Log4J2、Commons Logging、Slf4j、Logback和J
SLF4j kafka appender继承ELK 日志分析和监控 logstash配置
xiaoliu_1的博客
03-08 597
背景 公司提供比较粗糙的ELK 监控的stack ，目前项目的监控是 collected + grafana 这种。 APP 内日志通过java 的日志门面 SLF4j 滚动输出到日志文件中。 集成KAFKA appender maven <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> &...
log4jappender配置kafka使用的jar包
09-08
log4jappender配置kafka使用的jar包 log4jappender配置kafka使用的jar包 log4jappender配置kafka使用的jar包
log4j：log4j1.x升级log4j2.x及异步日志开启
weixin_38569499的博客
11-01 6512
由于log4j1.x采用同步的方式打印log，当项目中打印log的地方很多的时候，频繁的加锁拆锁会导致性能的明显下降。log4j推出了异步logging的方式，所以项目准备升级log4j2.x。 备注：项目使用maven管理第三方类库，所以jar包的替换是通过更改maven配置的方式进行更改的。 官方文档链接：https://logging.apache.org/log...
kafka 将log4j的项目升级到log4j2
最新发布
niezuxue的专栏
08-07 455
kafka版本是kafka_2.11-2.0.0，由于引用的log4j有漏洞，而升级kafka可能影响比较大，所以更新log4j包的版本。
log4j1 如何平滑升级到log4j2呢
z69183787的专栏
07-10 6048
如题，log4j1 如何平滑升级到log4j2呢？  原来使用Logger.getLogger方法获取到org.apache.log4j.Logger对象的 ，现在LogManager.getLogger 方法获取到org.apache.logging.log4j.Logger   知道了   有一个专门的jar包  log4j-1.2-api-2.0.jar ，导入就可以了，原来代
log4j1升级log4j2
shy_snow的专栏
07-12 4696
删除log4j-1.x.jar,然后增加log4j2.x的三个jar包:log4j-api-2.12.1.jar和log4j-core-2.12.1.jar和一个中间桥接包log4j-1.2-api-2.12.1.jar 增加log4j2.xml配置文件 完成前面两步基本就可以了,如果仍然有不兼容的部分则修改代码使用log4j2的api 注意:log4j2.12版本是支持jdk1.7,而log4j2.13及以上版本最低要求是jdk1.8 下载地址 https://mirrors.bfsu....
你还在用 Logback？Log4j2 的异步性能已经无敌了，还不快试试
qq826654664jx的专栏
03-31 256
本文由 简悦 SimpRead 转码， 原文地址 juejin.cn Logback 算是 JAVA 里一个老牌的日志框架，从 06 年开始第一个版本，迭代至今也十几年了。不过 logback 最近一个稳定版本还停留在 2017 年，好几年都没有更新；logback 的兄弟 slf4j 最近一个稳定版也是 2017 年，有点凉凉的意思。 而且 logback 的异步性能实在拉跨，功能简陋，配置又繁琐，远不及 Apache 的新一代日志框架 - Log4j2 目前来看，Log4j2 就是王者，其他日志框架.
Log4j-配置信息详解
ZZY1078689276的专栏
01-21 1101
log4j的初始化 Log4j的日志记录级别 Appenders Layouts Patterns Log4J的使用 建立Logger实例 读取配置文件 插入日志信息 log4j配置文件 配置根Logger 配置日志信息输出目的地 Log4J对应用性能的影响 log4j的初始化   log4j的初始化方式如下： private static final Logger
log4j DailyRollingFileAppender支持保留最近n天，并且可以对一天的文件根据大小切分
austboy123的博客
03-22 5893
log4j DailyRollingFileAppender不支持只保留最近n天的数据，时间一久导致日志文件很多，并且一天的文件有可能比较大，所以自己写了个appender，以解决这两个问题。    具体代码实现如下：package com.mytools.common.log4jext; import java.io.File; import java.io.FileFilter; impor...
logback 1.2.6 和 slf4j 1.7.32
10-30
logback 1.2.6 和 slf4j 1.7.32
apache kafka系列之log4j配置
热门推荐
李志涛的专栏
04-25 1万+
kafka日志文件分为5种类型，依次为：controller,kafka-request,server,state-change,log-cleaner，不同类型log数据，写到不同文件中:
使用 log4j 输出日志到 Kafka
magicpenta的博客
04-19 5399
一、背景介绍 使用 log4j 自带的 appender，我们可以将日志打印到控制台，也可以将日志打印到本地文件。更深入使用的话，我们可以将日志进行隔离，根据日志级别输出到不同的文件，或者，我们还可以根据日期对日志进行滚动存储。 这些原生功能看起来都很不错，但总感觉缺了点什么。 假设我们部署了具有 10 个节点的集群，使用 log4j 记录日志到节点的本地文件。某一天，运维反馈集群有异常，需要找出故障点。此时，我们只能对 10 个节点的日志文件进行逐一排查，找出其中的 ERROR 日志。这看起来十分僵硬。若
【Kafka】log4j2漏洞不影响集群安全
扬_帆_起_航
12-01 482
虽然Kafka不会受此事件影响，但是Kafka客户端日志输出需要用户单独引用配置，所以大家还是注意一下是否使用受影响版本的log4j2.x进行日志打印。
Zookeeper的服务器的log4j升级为log4j2的升级方案（忽略配置化兼容问题）
BASK2312的博客
10-27 1575
洛神灬殇正在上传…重新上传取消2022年10月24日 18:15 · 阅读 1333目前希望可以升级将Zookeeper中log4j的版本升级到log4j2版本，并且要避开相关的log4j2的安全隐患问题，此时需要考虑的就是针对于如何将无缝衔接log4j2的版本jar包的安装呢？我们接下来观察一下看看问题所在。目前我采用的环境是windows环境，不过也同样对其他操作系统有效，毕竟万变不离其宗嘛。windows目录Linux目录首先我们需要进行替换相关的lib包信息，我们需要将相关的zookeeper中所
Zookeeper的log4j升级为log4j2的升级方案
hongguo880的博客
05-24 1432
近期由于zookeeper的使用的log4j-1.2.17版本被扫描出来了安全漏洞，需要将其升级到2.17.1版本,下面记录下升级过程我的zookeeper部署在 /usr/local/zookeeper，目录需要根据自己的需要进行更改。
slf4j-api、slf4j-log4j12、log4j之间关系
zhuzi147的博客
01-10 505
转载于：https://www.cnblogs.com/lujiango/p/8573411.html Content 1. slf4j-api 2. slf4j-api、slf4j-log4j12、log4j 3. log4j  3.1 log4j的使用 3.2 log4j配置使用 3.2.1 定义配置文件 3.2.2 在代码中使用log4j x. 参考资...
Log4j日志写入Kafka（实战）
CabbageDevil成狂成魔之路
06-26 2048
1.引入依赖-pom 这里为了避免包冲突，过滤掉了log4j12 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.10</artifactId> <version>0.8.2.2</version&g...
Flink 1.15版本报错：2023-06-08 18:18:13,878 main ERROR Unable to invoke factory method in class org.apache.logging.log4j.core.appender.mom.kafka.KafkaAppender for element KAFKA: java.lang.IllegalStateException: No factory method found for class org.apache.logging.log4j.core.appender.mom.kafka.KafkaAppender java.lang.IllegalStateException: No factory method found for class org.apache.logging.log4j.core.appender.mom.kafka.KafkaAppender
06-09
可以尝试升级 Log4j2 的 Kafka Appender，或者降级 Flink 版本到 1.14.x 以下。 如果想要升级 Log4j2 的 Kafka Appender，可以在你的项目中添加以下依赖： ``` <groupId>org.apache.logging.log4j <artifactId>...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值