Flink项目中使用log4j2来记录日志发送kafka提示警告的解决方法

最新推荐文章于 2023-10-11 19:01:50 发布
最新推荐文章于 2023-10-11 19:01:50 发布
阅读量1k 收藏 1
点赞数 1
分类专栏： JAVA 文章标签： log4j flink kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37316490/article/details/126219846
版权

在Flink项目中使用log4j2来记录日志发送kafka，但是使用log4j2发送kafka一直报警告
在这里插入图片描述
在这里插入图片描述

于是乎把发送到kafka的Appender删了，竟然没有警告了。查阅网站才知道引入kafka依赖后，kafka使用的slf4j，如果没有引入桥接log4j2的依赖会导致使用slf4j默认配置，调用log4j，然后会提示找不到properties。

通过导入log4j-slf4j-impl

<dependency>
  <groupId>org.apache.logging.log4j</groupId
最低0.47元/天 解锁文章
「已注销」
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
Flink消费Kafka数据1
08-03
在 Flink 程序中，使用 Kafka consumer API 来消费 Kafka 数据。 八、结语 本文详细介绍了如何使用 Flink 消费 Kafka 数据，并提供了实验环境的配置和资源购买的详细步骤。通过本实验，可以学习到 Flink 和 Kafka ...
Flink配log4j2日志输出
m0_50670853的博客
04-26 4716
一. idea中配置 1. resources文件夹添加log4j2.xml文件 <?xml version="1.0" encoding="UTF-8"?> <configuration monitorInterval="5"> <Properties> <property name="LOG_PATTERN" value="%date{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%
log4j/log4j2配置不生效问题解决之道
街头看日出的博客
03-17 5331
当出现配置了log4j或log4j2的配置问题不生效，可以在java启动命令添加参数-Dlog4j.debug，可以看到实际加载配置文件的路径，非常好用
spring_boot log4j2
weixin_43285931的博客
12-05 240
spring_boot整合Log4j2 找到第一个启动器 <exclusions> <!--排除logging--> <exclusion> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-logging&l...
【flink 床头书系列】flink log日志管理使用
wang2leee的博客
10-11 859
所有的Flink进程都会创建一个包含该进程中各种事件消息的日志文本文件。这些日志提供了对Flink内部工作原理的深入了解，可以用于检测问题（以WARN/ERROR消息形式）并帮助调试。
flink1.10.0最新版本解决log4j漏洞
04-23
近期，Log4j 2.x版本出现了一个严重的安全漏洞，被称为"Log4Shell"，影响了全球众多使用该日志框架的系统。Apache Flink作为依赖Log4j的日志处理工具，自然也受到了波及。因此，"flink1.10.0最新版本解决log4j漏洞...
Flume + kafka + log4j构建日志采集系统
08-30
3. **log4j**: log4j 是Java中最流行的日志记录框架之一，提供了一种灵活的方式来记录应用程序事件。通过配置，你可以控制日志信息的级别、格式和目的地，使其更适合不同场景的需求。 现在，我们来看一下如何结合这...
使用flink的standalone模式同步Kafka的数据到clickhouse的flink代码和jar包
最新发布
03-15
本项目主要涉及的是如何使用Flink的Standalone模式从Kafka源获取数据，并将这些数据同步到ClickHouse存储系统中。下面我们将详细介绍这一过程的关键步骤和涉及的技术知识点。 1. **Flink Standalone模式**：Flink ...
flink消费kafka到greenplum
05-06
本文将深入探讨如何使用Flink从Kafka消费数据并将其存储到Greenplum，同时也会介绍Flink的数据流（DataStream）和数据集（DataSet）API的使用，以及实时数据处理中的窗口应用。 首先，Apache Flink是一个开源的流...
Spring Boot log4j2发送日志告警通知企业微信机器人
dingdeyangvip123的博客
09-22 1333
本文主要介绍Spring Boot 和 log4j2 实现 error 日志 发送告警通知 到企业微信机器人，一般线上出现问题 我们很难主动发现 ，本文是一种主动的异常通知办法 通过发送traceId 通过日志系统（kibana，elk） 等定位错误日志。主要是自定义日志Appender，先看一张集成关系 通过继承AbstractAppender 重写append 方法我们就可以过滤出 想要的日志级别日志 比如error 级别 package log.appender; import o.
Log4j2异步将log发送到kafka (kafka及其依赖环境的docker配置和使用)
Timmer的博客
12-04 2344
一，kafka config 1.下载,安装docker desktop在windows https://hub.docker.com/?overlay=onboarding 2.设置docket kafka转接到本机的host export DOCKER_KAFKA_HOST=###.###.###.### 3.在docker安装kafka相关的images并启动容器 我们使用的是d...
flink-1.17 log4j2 log推送
dian张
08-22 254
flink-conf.yml曾如下配置获取 yarn 的ContainerId。log4j.propertites增加如下配置。启动命令传入job_name。
log4j2配置解析及发送log到kafka(xml/yml)
Timmer的博客
11-01 1646
log4j2的优势 在异步，吞吐量等方面有极大的性能提升，Log4j2的性能为什么这么好https://www.jianshu.com/p/359b14067b9e maven <!-- https://mvnrepository.com/artifact/org.apache.logging.log4j/log4j-api --> <dependency&gt...
Flink on yarn 实时日志收集到 kafka 打造日志检索系统
JasonLee实时计算
08-15 1545
点击上方"JasonLee实时计算",选择"设为星标"再也不用担心错过重要文章后台回复"监控",获取 grafana 监控 Flink最...
Spring Boot 2 集成log4j2日志框架
qq_39235296的博客
10-28 283
前言 Log4j2是 Log4j 的进化版本，并提供了许多 Logback 可用的改进，同时解决了 Logback 体系结构中的一些固有问题。而且日志处理中我们会用到kafka作为日志管道。而kafka客户端依赖与Logback的兼容不是很完美，你可以选择排除依赖冲突或者使用Log4j2。 排除Logback依赖 Spring Boot 2.x默认使用Logback日志框架，要使用 Log4j...
flink on yarn的日志无法刷新问题解决
程序媛的日常
06-27 1743
flink 日志
SpringBoot通过log4j2将日志写到kafka
qq_19520877的博客
04-15 1198
SpringBoot通过log4j2将日志写到kafka 1.导入坐标 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-log4j2</artifactId> ...
flink代码中如何设置Flink 的配置文件中，将 flink.logging.log4j2.appender.kafka
06-09
在 Flink 中，可以通过设置 `flink-conf.yaml` 文件来配置 Flink 的日志输出。在该文件中，可以设置 `flink.logging.log4j2.appender.kafka` 属性来指定使用 Kafka Appender 进行日志输出。具体的配置方式如下： 1. 在 `flink-conf.yaml` 文件中添加以下配置： ``` flink.logging.log4j2.appender.kafka.type = Kafka flink.logging.log4j2.appender.kafka.name = Kafka flink.logging.log4j2.appender.kafka.topic = log_topic flink.logging.log4j2.appender.kafka.layout.type = JsonLayout flink.logging.log4j2.appender.kafka.layout.compact = true flink.logging.log4j2.appender.kafka.property.bootstrap.servers = localhost:9092 ``` 上述配置中，`flink.logging.log4j2.appender.kafka.type` 属性指定了使用 Kafka Appender 进行日志输出，`flink.logging.log4j2.appender.kafka.name` 属性指定了 Appender 的名称，`flink.logging.log4j2.appender.kafka.topic` 属性指定了 Kafka Topic 的名称，`flink.logging.log4j2.appender.kafka.layout.type` 属性指定了日志输出的格式，这里使用了 JsonLayout，`flink.logging.log4j2.appender.kafka.property.bootstrap.servers` 属性指定了 Kafka Broker 的地址。 2. 在 Flink 代码中启动流处理任务时，可以通过 `StreamExecutionEnvironment.getConfig()` 方法获取 ExecutionConfig 对象，然后通过 `ExecutionConfig.setGlobalJobParameters()` 方法将 `flink-conf.yaml` 文件中的配置加载到 ExecutionConfig 对象中，如下所示： ``` StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); ExecutionConfig config = env.getConfig(); config.setGlobalJobParameters(ParameterTool.fromPropertiesFile("/path/to/flink-conf.yaml")); ``` 上述代码中，`ParameterTool.fromPropertiesFile()` 方法可以将 `flink-conf.yaml` 文件中的配置加载到一个 ParameterTool 对象中，然后通过 `ExecutionConfig.setGlobalJobParameters()` 方法将该对象中的配置加载到 ExecutionConfig 对象中。 这样就可以使用 Kafka Appender 进行日志输出了。需要注意的是，Kafka Appender 的具体配置方式可以根据实际需求进行调整。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值