kafka 将log4j的项目升级到log4j2

kafka版本是kafka_2.11-2.0.0,由于引用的log4j有漏洞,而升级kafka可能影响比较大,所以更新log4j包的版本。

参考的是将log4j的项目升级到log4j2

主要步骤如下:

cd kafka的目录
cd libs
rm -f slf4j-log4j12-1.7.25.jar 
rm -f slf4j-api-1.7.25.jar 
rm -f log4j-1.2.17.jar
wget https://repo1.maven.org/maven2/org/apache/logging/log4j/log4j-1.2-api/2.13.2/log4j-1.2-api-2.13.2.jar
wget https://repo1.maven.org/maven2/org/apache/logging/log4j/log4j-api/2.13.2/log4j-api-2.13.2.jar
wget https://repo1.maven.org/maven2/org/apache/logging/log4j/log4j-core/2.13.2/log4j-core-2.13.2.jar
wget https://repo1.maven.org/maven2/org/apache/logging/log4j/log4j-slf4j-impl/2.13.2/log4j-slf4j-impl-2.13.2.jar
wget https://repo1.maven.org/maven2/org/slf4j/slf4j-api/1.7.30/slf4j-api-1.7.30.jar



将bin/zookeeper-server-start.sh文件中
export KAFKA_LOG4J_OPTS="-Dlog4j.configuration=file:$base_dir/../config/log4j.properties" 修改成:
export KAFKA_LOG4J_OPTS="-Dlog4j.configuration=file:$base_dir/../config/log4j.properties -Dzookeeper.jmx.log4j.disable=true"

针对参考文章的补充:

  1. config/log4j.properties文件中引用的${kafka.logs.dir}变量没有效果,从而会导致在启动kafka的目录生成了以“${kafka.logs.dir}”为名称的目录,其目录下存放的是日志文件。网上找了一些方法去设置变量,但是没有效果,所以最后是直接写死了路径,比如:
    log4j.appender.kafkaAppender.File=${kafka.logs.dir}/server.log
    改成了
    log4j.appender.kafkaAppender.File=kafka的目录/logs/server.log
  2. 文章最后将log4j的配置文件改了,但是实际用下来的话,日志确实是在开始会有被截断,但后续有新日志产生后会将之前被截断的日志补全,应该是当时被截断的日志还在缓存中尚未写入日志文件中。为了防止因为修改该配置文件造成的其他问题,所以暂时还是维持原样。
  • 6
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在 Flink 中,可以通过设置 `flink-conf.yaml` 文件来配置 Flink 的日志输出。在该文件中,可以设置 `flink.logging.log4j2.appender.kafka` 属性来指定使用 Kafka Appender 进行日志输出。具体的配置方式如下: 1. 在 `flink-conf.yaml` 文件中添加以下配置: ``` flink.logging.log4j2.appender.kafka.type = Kafka flink.logging.log4j2.appender.kafka.name = Kafka flink.logging.log4j2.appender.kafka.topic = log_topic flink.logging.log4j2.appender.kafka.layout.type = JsonLayout flink.logging.log4j2.appender.kafka.layout.compact = true flink.logging.log4j2.appender.kafka.property.bootstrap.servers = localhost:9092 ``` 上述配置中,`flink.logging.log4j2.appender.kafka.type` 属性指定了使用 Kafka Appender 进行日志输出,`flink.logging.log4j2.appender.kafka.name` 属性指定了 Appender 的名称,`flink.logging.log4j2.appender.kafka.topic` 属性指定了 Kafka Topic 的名称,`flink.logging.log4j2.appender.kafka.layout.type` 属性指定了日志输出的格式,这里使用了 JsonLayout,`flink.logging.log4j2.appender.kafka.property.bootstrap.servers` 属性指定了 Kafka Broker 的地址。 2. 在 Flink 代码中启动流处理任务时,可以通过 `StreamExecutionEnvironment.getConfig()` 方法获取 ExecutionConfig 对象,然后通过 `ExecutionConfig.setGlobalJobParameters()` 方法将 `flink-conf.yaml` 文件中的配置加载到 ExecutionConfig 对象中,如下所示: ``` StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); ExecutionConfig config = env.getConfig(); config.setGlobalJobParameters(ParameterTool.fromPropertiesFile("/path/to/flink-conf.yaml")); ``` 上述代码中,`ParameterTool.fromPropertiesFile()` 方法可以将 `flink-conf.yaml` 文件中的配置加载到一个 ParameterTool 对象中,然后通过 `ExecutionConfig.setGlobalJobParameters()` 方法将该对象中的配置加载到 ExecutionConfig 对象中。 这样就可以使用 Kafka Appender 进行日志输出了。需要注意的是,Kafka Appender 的具体配置方式可以根据实际需求进行调整。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值