log4j2配置解析及发送log到kafka(xml/yml)

最新推荐文章于 2024-07-19 17:37:28 发布
最新推荐文章于 2024-07-19 17:37:28 发布
阅读量1.6k 收藏 1
点赞数 1
分类专栏： kafka Java Basics 文章标签： java log4j2 slf4j 模板
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35754073/article/details/102860384
版权

  • log4j2的优势

在异步，吞吐量等方面有极大的性能提升，Log4j2的性能为什么这么好https://www.jianshu.com/p/359b14067b9e

  • maven

<!-- https://mvnrepository.com/artifact/org.apache.logging.log4j/log4j-api -->
<dependency>
    <groupId>org.apache.logging.log4j</groupId>
    <artifactId>log4j-api</artifactId>
    <version>2.11.1</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.logging.log4j/log4j-core -->
<dependency>
    <groupId>org.apache.logging.log4j</groupId>
    <artifactId>log4j-core</artifactId>
    <version>2.12.1</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.logging.log4j/log4j-slf4j-impl -->
<dependency>
    <groupId>org.apache.logging.log4j</groupId>
    <artifactId>log4j-slf4j-impl</artifactId>
    <version>2.11.1</version>
    <scope>test</scope>
</dependency>

  • gradle

compile 'org.apache.logging.log4j:log4j-api:2.11.1'
compile 'org.apache.logging.log4j:log4j-core:2.11.1'
compile "org.apache.logging.log4j:log4j-slf4j-impl:2.11.1"

  • log4j与slf4j的关系

slf4j是日志框架的标准接口之一，log4j是它的一个实现。面向接口编程，告诉我们使用具体的日志系统，不方便升级换代，引入的jar中的日志系统还可能不一样，
无法使用，所以需要一个统一的日志接口，可以兼容各类日志系统。那就是slf4j。

slf4j提供接口，供用户使用。但不提供实现，用户要在自己的项目中进行选择配置
期望的日志系统。只要引入的jar中都使用slf4j，那么就不会出现兼容问题。

具体使用方法是，在slf4j和具体的日志系统中间使用桥接，实现slf4j的spi接口，同时
使用具体的日志系统。

详细请参考https://www.jianshu.com/p/370ed25cb7c4

  • Log2j配置文件

Log4j2支持多种配置文件，XML、JSON、YAML和perperties文件都支持，当然最常用的还是XML文件。将配置文件放在类路径下即可，如果使用Maven或者Gradle的话，就是在resources文件夹下。

  • xml格式

  • <?xml version="1.0" encoding="UTF-8"?>
<configuration status="WARN" monitorInterval="30">
	<!-- appeenders自定义log控制的标签 -->
    <appenders>
		<!-- 输出到控制台的配置 -->
        <console name="Console" target="SYSTEM_OUT">
			<!-- 日志输出的格式 -->
            <PatternLayout pattern="[%d{yyyy-MM-dd HH:mm:ss:SSS}] [%p] - %l - %m%n"/>
        </console>
		<!--文件回打印出所有的信息，这个log每次运行回自动清空，由append属性决定，适合临时测试使用
			append为TRUE表示消息增加到指定文件中，false表示 消息覆盖指定的文件内容，默认是TRUE-->
        <File name="log" fileName="./logs/test.log" append="false">
            <PatternLayout pattern="%d{yyyy-MM-dd HH:mm:ss.SSS} %-5level %class{36} %L %M - %msg%xEx%n"/>
        </File>
		<!--产生一个新的log文件 filePattern指定在文件超过指定size的时候的备份路径 -->
        <RollingFile name="RollingFileInfo" fileName="./logs/info.log"
                     filePattern="./logs/backups/$${date:yyyy-MM}/info-%d{yyyy-MM-dd}-%i.log.gz">
			<!-- 指定log输出的最低优先级 -->		 
            <ThresholdFilter level="info" onMatch="ACCEPT" onMismatch="DENY"/>
            <PatternLayout pattern="[%d{yyyy-MM-dd HH:mm:ss:SSS}] [%p] - %l - %m%n"/>
            <Policies>
                <TimeBasedTriggeringPolicy/>
				<!-- 日志的size-->
                <SizeBasedTriggeringPolicy size="5 MB"/>
            </Policies>
        </RollingFile>
        <RollingFile name="RollingFileWarn" fileName="./logs/warn.log"
                     filePattern="./logs/backups/$${date:yyyy-MM}/warn-%d{yyyy-MM-dd}-%i.log">
            <ThresholdFilter level="warn" onMatch="ACCEPT" onMismatch="DENY"/>
            <PatternLayout pattern="[%d{yyyy-MM-dd HH:mm:ss:SSS}] [%p] - %l - %m%n"/>
            <Policies>
                <TimeBasedTriggeringPolicy/>
                <SizeBasedTriggeringPolicy size="5 MB"/>
            </Policies>
            <DefaultRolloverStrategy max="20"/>
        </RollingFile>
        <RollingFile name="RollingFileError" fileName="./logs/error.log"
                     filePattern="./logs/backups/$${date:yyyy-MM}/error-%d{yyyy-MM-dd}-%i.log">
            <ThresholdFilter level="error" onMatch="ACCEPT" onMismatch="DENY"/>
            <PatternLayout pattern="[%d{yyyy-MM-dd HH:mm:ss:SSS}] [%p] - %l - %m%n"/>
            <Policies>
                <TimeBasedTriggeringPolicy/>
                <SizeBasedTriggeringPolicy size="5 MB"/>
            </Policies>
        </RollingFile>
    </appenders>
	<!-- log的记录器 建立要给默认的logger-->
    <loggers>
        <root level="all">
            <appender-ref ref="Console"/>
            <appender-ref ref="RollingFileInfo"/>
            <appender-ref ref="RollingFileWarn"/>
            <appender-ref ref="RollingFileError"/>
        </root>
    </loggers>
</configuration>

     

  • Yaml格式

如果要使用yaml格式则需要在引入jar包

maven：

<dependency>
    <groupId>com.fasterxml.jackson.dataformat</groupId>
    <artifactId>jackson-dataformat-yaml</artifactId>
    <version>2.10.1</version>
</dependency>

gradle：
compile group: 'com.fasterxml.jackson.dataformat', name: 'jackson-dataformat-yaml', version: '2.10.1'

Configuration:
  Properties:
    Property:
      - name: log-path
        value: "logs"
      - name: charset
        value: "UTF-8"
      - name: compact
        value: false
      - name: eventEol
        value: true
      - name: kafka-topic
        value: test
      - name: bootstrap-servers
        value: 127.0.0.1:9092
      - name: complete
        value: false
      - name: stacktraceAsString
        value: true
      - name: log.pattern
        value: "%d{yyyy-MM-dd HH:mm:ss.SSS} -%5p ${PID:-} [%X{tracking_id}] [%15.15t] %-30.30C{1.} : %m%n"

  Appenders:
    Console:
      name: CONSOLE
      target: SYSTEM_OUT
      PatternLayout:
        pattern: ${log.pattern}

    RollingFile:
      - name: REQUEST_LOG
        fileName: ${log-path}/request.log
        filePattern: "${log-path}/historyLog/info-%d{yyyy-MM-dd}-%i.log.gz"
        Filters:
          ThresholdFilter:
            - level: error
              onMatch: DENY
              onMismatch: NEUTRAL
            - level: warn
              onMatch: DENY
              onMismatch: NEUTRAL
            - level: info
              onMatch: ACCEPT
              onMismatch: DENY
        JsonLayout:
          - charset: ${charset}
            compact: ${compact}
            complete: ${complete}
            stacktraceAsString: ${stacktraceAsString}
            eventEol: ${eventEol}
            properties: true
            KeyValuePair:
              - key: tags
                value: REQUEST_LOG
        Policies:
          TimeBasedTriggeringPolicy:
            interval: 1
            modulate: true
        DefaultRolloverStrategy:
          max: 100
      - name: SERVICE_LOG
        fileName: ${log-path}/service.log
        filePattern: "${log-path}/historyLog/service-%d{yyyy-MM-dd}-%i.log.gz"
        Filters:
          ThresholdFilter:
            - level: error
              onMatch: DENY
              onMismatch: NEUTRAL
            - level: info
              onMatch: ACCEPT
              onMismatch: DENY
        JsonLayout:
          - charset: ${charset}
            compact: ${compact}
            complete: ${complete}
            stacktraceAsString: ${stacktraceAsString}
            eventEol: ${eventEol}
            properties: true
            objectMessageAsJsonObject: true
            KeyValuePair:
              - key: tags
                value: SERVICE_LOG
        Policies:
          TimeBasedTriggeringPolicy:
            interval: 1
            modulate: true
        DefaultRolloverStrategy:
          max: 100
      - name: ERROR_LOG
        fileName: ${log-path}/error.log
        filePattern: "${log-path}/historyLog/error-%d{yyyy-MM-dd}-%i.log.gz"
        Filters:
          ThresholdFilter:
            - level: error
              onMatch: ACCEPT
              onMismatch: DENY
        JsonLayout:
          - charset: ${charset}
            compact: ${compact}
            complete: ${complete}
            stacktraceAsString: ${stacktraceAsString}
            eventEol: ${eventEol}
            properties: true
            KeyValuePair:
              - key: tags
                value: ERROR_LOG
        Policies:
          TimeBasedTriggeringPolicy:
            interval: 1
            modulate: true
        DefaultRolloverStrategy:
          max: 100
    #    RollingFile:
    #      - name: REQUEST_LOG
    #        fileName: ${log-path}/request.log
    #        filePattern: "${log-path}/historyLog/info-%d{yyyy-MM-dd}-%i.log.gz"
    #        PatternLayout:
    #          charset: ${charset}
    #          pattern: ${log.pattern}
    #        Filters:
    #          ThresholdFilter:
    #            - level: error
    #              onMatch: DENY
    #              onMismatch: NEUTRAL
    #            - level: warn
    #              onMatch: DENY
    #              onMismatch: NEUTRAL
    #            - level: debug
    #              onMatch: ACCEPT
    #              onMismatch: DENY
    #        Policies:
    #          TimeBasedTriggeringPolicy:
    #            interval: 1
    #            modulate: true
    #        DefaultRolloverStrategy:
    #          max: 100
    #      - name: SERVICE_LOG
    #        fileName: ${log-path}/service.log
    #        filePattern: "${log-path}/historyLog/service-%d{yyyy-MM-dd}-%i.log.gz"
    #        PatternLayout:
    #          charset: ${charset}
    #          pattern: ${log.pattern}
    #        Filters:
    #          ThresholdFilter:
    #            - level: info
    #              onMatch: ACCEPT
    #              onMismatch: DENY
    #        Policies:
    #          TimeBasedTriggeringPolicy:
    #            interval: 1
    #            modulate: true
    #        DefaultRolloverStrategy:
    #          max: 100
    #      - name: ERROR_LOG
    #        fileName: ${log-path}/error.log
    #        filePattern: "${log-path}/historyLog/error-%d{yyyy-MM-dd}-%i.log.gz"
    #        PatternLayout:
    #          charset: ${charset}
    #          pattern: ${log.pattern}
    #        Filters:
    #          ThresholdFilter:
    #            - level: error
    #              onMatch: ACCEPT
    #              onMismatch: DENY
    #        Policies:
    #          TimeBasedTriggeringPolicy:
    #            interval: 1
    #            modulate: true
    #        DefaultRolloverStrategy:
    #          max: 100
    Kafka:
      - name: KAFKA_REQUEST_LOG
        topic: ${kafka-topic}
        Property:
          name: bootstrap.servers
          value: ${bootstrap-servers}
        Filters:
          ThresholdFilter:
            - level: error
              onMatch: DENY
              onMismatch: NEUTRAL
            - level: warn
              onMatch: DENY
              onMismatch: NEUTRAL
            - level: info
              onMatch: ACCEPT
              onMismatch: DENY
        JsonLayout:
          - charset: ${charset}
            compact: ${compact}
            complete: ${complete}
            stacktraceAsString: ${stacktraceAsString}
            eventEol: ${eventEol}
            properties: true
            KeyValuePair:
              - key: tags
                value: INFO_LOG
      - name: KAFKA_SERVICE_LOG
        topic: ${kafka-topic}
        Property:
          name: bootstrap.servers
          value: ${bootstrap-servers}
        Filters:
          ThresholdFilter:
            - level: error
              onMatch: DENY
              onMismatch: NEUTRAL
            - level: info
              onMatch: ACCEPT
              onMismatch: DENY
        JsonLayout:
          - charset: ${charset}
            compact: ${compact}
            complete: ${complete}
            stacktraceAsString: ${stacktraceAsString}
            eventEol: ${eventEol}
            properties: true
            objectMessageAsJsonObject: true
            KeyValuePair:
              - key: tags
                value: SERVICE_LOG
      - name: KAFKA_ERROR_LOG
        topic: ${kafka-topic}
        Property:
          name: bootstrap.servers
          value: ${bootstrap-servers}
        Filters:
          ThresholdFilter:
            - level: error
              onMatch: ACCEPT
              onMismatch: DENY
        JsonLayout:
          - charset: ${charset}
            compact: ${compact}
            complete: ${complete}
            stacktraceAsString: ${stacktraceAsString}
            eventEol: ${eventEol}
            properties: true
            KeyValuePair:
              - key: tags
                value: ERROR_LOG
  Loggers:
    AsyncRoot:
      level: debug
      #      add location in async
      includeLocation: true
      AppenderRef:
        - ref: CONSOLE
    AsyncLogger:
      - name: REQUEST_LOG
        AppenderRef:
          - ref: REQUEST_LOG
      - name: SERVICE_LOG
        AppenderRef:
          - ref: SERVICE_LOG
      - name: ERROR_LOG
        AppenderRef:
          - ref: ERROR_LOG

 

Timmer丿
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
将log4j2 配置mysql_log4j2配置输出日志到Kafka
weixin_30277297的博客
01-30 301
 log4j可以支持将log输出到文件，数据库，甚至远程服务器，这次给大家分享下如何输出到mysql中。 项目截图： 运行截图： mysql存储截图： mysql建表语句： [sql] view plain copy print createdatabase`zuidaima_log4j_write_mysql`; use`zuidaima_l首先，需要引入依赖包：org.apac...
elk+springboot+kafka日志跟踪配置1
08-08
ELK+SringBoot+Kafka ...通过 logback 配置，SpringBoot 可以将日志输出到 Logstash， Logstash 可以将日志输出到 Elasticsearch，Kafka 可以将日志输出到 Kafka topic。这样，开发者可以轻松地实现日志跟踪和分析。
SpringBoot2 集成log4j2日志框架的实现
08-25
主要介绍了SpringBoot2 集成log4j2日志框架的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
log4j2配置输出日志到Kafka
热门推荐
Clement-Xu的专栏
05-17 1万+
首先，需要引入依赖包： org.apache.kafka kafka-clients 0.9.0.1 如果配置文件是yml格式的，还需要这个依赖： com.fasterxml.jackson.dataformat jackson-dataformat-yaml yml格式的配置方法： Configuration: status
loong - Log4j2 - 配置
养个月亮
04-22 487
log4j2日志配置，控制台冲突报错处理，异步日志搭建
Spring Boot集成 log4j2 日志框架
Tony 小哥的博客
11-27 377
log4j
elk+kafka+log4j2.xml日志收集
迷途的小兵
05-18 1247
下载地址：https://www.elastic.co/cn/downloads/ elasticsearch 配置修改:viconfig/elasticsearch.yml node.name: node-1 path.data: ~/elasticsearch/data path.logs: ~/elasticsearch/logs network.host: 127.0.0....
一起重新认识一下Log4j2，感受异步性能的无敌
独行侠梦的博客
07-21 555
Log4j2简介最牛逼的性能更强大的参数格式化更简化的配置与其他日志抽象/门面适配其他的特点基本用法总结Logback算是JAVA 里一个老牌的日志框架，从06年开始第一个版本，迭代至...
spring cloud log4j日志输出到同步kafka
JAVA圈的博客
02-05 4094
1、jar包依赖 org.springframework.kafka spring-kafka org.apache.kafka kafka-clients 0.9.0.1 2、application.yml配置文件 #指定log配置 #需要把日志传到kafka用文件log4j2-kafka.xml，如果不用则使用log4j2-pro.xm
应用中日志的优雅使用(整合log4j2与SLF4J)
coding and writing
04-04 1534
应用中日志的优雅使用(整合log4j2与SLF4J)
springboot集成kafka简单入门案例
06-13
@Slf4j class TestJava { @Autowired private KafkaProducer kafkaProducer; @Test void testKafkaIntegration() { kafkaProducer.sendMessage("my-topic", "Hello, Kafka!"); log.info("Message sent to ...
spring-boot-basic:Spring启动的基本配置
04-27
- Spring Boot 默认使用 Logback 或 Log4j2，可以在 `logging` 配置下调整日志级别、输出位置等。 8. **Actuator** - 提供健康检查、指标、审计等功能，帮助监控和管理应用。可通过 `spring-boot-starter-...
Spring Boot 使用 logback、logstash、ELK 记录日志文件的方法
08-28
3. Logback-classic 非常自然实现了 SLF4j：Logback-classic 实现了 SLF4j，在使用 SLF4j 中，你都感觉不到 logback-classic。 4. 非常充分的文档：logback 的官方网站有两百多页的文档。 5. 自动重新加载配置文件：...
springboot+mybatisplus（mybatis）+log4j2
weixin_44326073的博客
09-06 1595
springboot+mybatisplus（mybatis）+log4j2
Java内存模型
最新发布
weixin_44267758的博客
07-19 306
此处的变量不是指java编程中的变量，它包括了实例字段，静态字段和构成数值对象的元素，但不包括局部变量和方法参数。JMM规定所有变量都存储在主内存中。每条线程有自己的工作内存，工作内存中保留了该线程使用到变量的主内存的副本。线程对变量的所有操作都必须在工作内存中进行，不能直接读写主内存的变量，不同的线程间也无法直接访问对方工作内存的变量，线程之间的变量值传递需要通过主内存来完成。
JVM-垃圾回收与内存分配
m0_50846237的博客
07-19 564
JVM-垃圾回收与内存分配
day04：Redis和店铺营业状态设置
m0_69266818的博客
07-15 841
介绍了Redis命令和用java操作redis还有营业额状态接口的书写
【Java算法】前缀和 下
2302_79806056的博客
07-18 887
这段代码实现了一个寻找数组中具有相等数量的0和1的最长子数组长度的算法。具体来说，它使用了前缀和（prefix sum）的概念以及哈希映射（HashMap）来优化查找过程。初始化哈希映射：计算前缀和：检查相等数量的0和1：更新哈希映射：返回结果：这种方法的时间复杂度为O(n)，因为我们只遍历数组一次，并且对每个元素执行常数时间的操作。空间复杂度也是O(n)，最坏情况下需要存储n个前缀和值。 初始化阶段:开始遍历数组:继续
flink代码中如何设置Flink 的配置文件中，将 flink.logging.log4j2.appender.kafka
06-09
在 Flink 中，可以通过设置 `flink-conf.yaml` 文件来配置 Flink 的日志输出。在该文件中，可以设置 `flink.logging.log4j2.appender.kafka` 属性来指定使用 Kafka Appender 进行日志输出。具体的配置方式如下： 1. 在 `flink-conf.yaml` 文件中添加以下配置： ``` flink.logging.log4j2.appender.kafka.type = Kafka flink.logging.log4j2.appender.kafka.name = Kafka flink.logging.log4j2.appender.kafka.topic = log_topic flink.logging.log4j2.appender.kafka.layout.type = JsonLayout flink.logging.log4j2.appender.kafka.layout.compact = true flink.logging.log4j2.appender.kafka.property.bootstrap.servers = localhost:9092 ``` 上述配置中，`flink.logging.log4j2.appender.kafka.type` 属性指定了使用 Kafka Appender 进行日志输出，`flink.logging.log4j2.appender.kafka.name` 属性指定了 Appender 的名称，`flink.logging.log4j2.appender.kafka.topic` 属性指定了 Kafka Topic 的名称，`flink.logging.log4j2.appender.kafka.layout.type` 属性指定了日志输出的格式，这里使用了 JsonLayout，`flink.logging.log4j2.appender.kafka.property.bootstrap.servers` 属性指定了 Kafka Broker 的地址。 2. 在 Flink 代码中启动流处理任务时，可以通过 `StreamExecutionEnvironment.getConfig()` 方法获取 ExecutionConfig 对象，然后通过 `ExecutionConfig.setGlobalJobParameters()` 方法将 `flink-conf.yaml` 文件中的配置加载到 ExecutionConfig 对象中，如下所示： ``` StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); ExecutionConfig config = env.getConfig(); config.setGlobalJobParameters(ParameterTool.fromPropertiesFile("/path/to/flink-conf.yaml")); ``` 上述代码中，`ParameterTool.fromPropertiesFile()` 方法可以将 `flink-conf.yaml` 文件中的配置加载到一个 ParameterTool 对象中，然后通过 `ExecutionConfig.setGlobalJobParameters()` 方法将该对象中的配置加载到 ExecutionConfig 对象中。 这样就可以使用 Kafka Appender 进行日志输出了。需要注意的是，Kafka Appender 的具体配置方式可以根据实际需求进行调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值