log4j2 你真的会用吗

最新推荐文章于 2024-03-11 16:33:39 发布
最新推荐文章于 2024-03-11 16:33:39 发布
阅读量2.7k 收藏 5
点赞数
分类专栏： JAVA 现网查证
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014134750/article/details/117791974
版权

大家一提到log4j2的优化，可能就会有人说，采用异步日志

最近因为工作的原因最近在做压测，由于某个项目中的日志量特别的大，压测吞吐量一直上不去，通过分析栈快照发现是在写日志的时候发生了IO阻塞，在网上搜了很多文章，有许多讲log4j2配置调优配置，但实际验证下来，却有很大的出入（误人子弟）。没办法，只能自己亲自验证，分析。

首先先抛出结论：

  • 开启异步日志以后，如果日志的生产速度，大于消费速度的话，那么异步的效率反而会比同步的低。在官网的一句描述中找到原因

    参考:https://logging.apache.org/log4j/2.x/manual/async.html

    如果日志的生产速度，大于消费速度,导致RingBuffer被塞满，为了减少cpu的使用，会转换成同步模式，并且由于多了上下文切换，所以性能比同步的还要低

在这里插入图片描述

  • 在log4j中，Logger对象，和Appender对象 都可以实现异步，但如果你理所当然的认为1+1>2 的话，那可能会大跌眼镜。

    其实想起来也很容易理解，Logger对象是记录日志的对象，Appender是写到目标的对象，只要其中一个有Buffer的功能，就可提升吞吐量，多加一层，只会增加上下文切换的消耗。

    官方是比较推荐使用AsyncLogger

    具体可以参考：https://newbedev.com/difference-between-asynclogger-and-asyncappender-in-log4j2

  • immediateFlush有一个缺点，就是会导致日志记录时间，不能反应event实际发生的时间。（因为要等到buffer满了一次性刷盘）

  • 开启immediateFlush和异步日志，在应用意外宕机后，都会产生日志丢失的问题

  • 如果日志是要接到ES做集中分析的话，建议直接通过Appender直接输出到MQ，省去了写文件，再从文件采集到ES中的步骤

  • 优化思路，Root采用同步日志，Logger对象尽量按照功能拆分的细一点root,info,error,remote,access,metrics,cache,mq ,info和error可以用同步的，其他的采用AsyncLogger

  • 如果日志量非常大，并且日志的生产速度大于写文件的速度，那么还是同步的Logger+immediateFlush=“false”效率比较高，建议直接将日志写入kafka

log4j2默认是开启bufferedIO的，但是如果immediateFlush=“true”的时候（默认），还是会一条日志，刷一次盘

见源码：

在这里插入图片描述

​ 但是开启BufferedIO还是会比使用FileOutputStream要快，即使在关闭批量刷盘的情况下
在这里插入图片描述
在这里插入图片描述

压测

压测代码

image-20210610172521363

通过Jmeter起10个线程进行压测
同步Logger+bufferedIO(默认开启)
<?xml version="1.0" encoding="UTF-8"?>
<configuration status="OFF">
  
	<properties>
		<property name="logPath">log</property>
		<property name="logName">userValidator-rest</property>
		<property name="errPath">log/err</property>
		<property name="errName">userValidator-error</property>
	</properties>

	<appenders>
    
		<RollingFile name="log_file" filename="${logPath}/${logName}.log"
			filepattern="${logPath}/history-%i-${logName}.log.gz" >
			<Filters>
				<ThresholdFilter level="error" onMatch="DENY"
					onMismatch="NEUTRAL" />
				<ThresholdFilter level="debug" onMatch="ACCEPT"
					onMismatch="DENY" />
			</Filters>
			<PatternLayout
				pattern="%d{yyyy-MM-dd HH:mm:ss.SSS} [%t] %-5level %logger{36} - %msg%n" />
			<Policies>
				<SizeBasedTriggeringPolicy size="250 MB" />
			</Policies>
			<DefaultRolloverStrategy max="20" />
		</RollingFile>

		<RollingFile name="error_file" filename="${errPath}/${errName}.log"
			filepattern="${errPath}/history-%i-${logName}_error.log.gz" >
			<Filters>
				<ThresholdFilter level="error" onMatch="ACCEPT"
					onMismatch="DENY" />
			</Filters>
			<PatternLayout
				pattern="%d{yyyy-MM-dd HH:mm:ss.SSS} [%t] %-5level %logger{36} - %msg%n" />
			<Policies>
				<SizeBasedTriggeringPolicy size="250 MB" />
			</Policies>
			<DefaultRolloverStrategy max="20" />
		</RollingFile>

	</appenders>


	<loggers>
		<Logger name="cn.cmvideo" level="debug" additivity="false" includeLocation="false" >
			<AppenderRef ref="log_file" />
			<AppenderRef ref="error_file" />
		</Logger>
	</loggers>
  
</configuration>
压测结果

在这里插入图片描述

异步AsyncLogger+bufferedIO(默认开启)

将 Logger 修改为 AsyncLogger

<?xml version="1.0" encoding="UTF-8"?>
<configuration status="OFF">
	<properties>
		<property name="logPath">log</property>
		<property name="logName">userValidator-rest</property>
		<property name="errPath">log/err</property>
		<property name="errName">userValidator-error</property>
	</properties>

	<appenders>

		<RollingFile name="log_file" filename="${logPath}/${logName}.log"
			filepattern="${logPath}/history-%i-${logName}.log.gz" >
			<Filters>
				<ThresholdFilter level="error" onMatch="DENY"
					onMismatch="NEUTRAL" />
				<ThresholdFilter level="debug" onMatch="ACCEPT"
					onMismatch="DENY" />
			</Filters>
			<PatternLayout
				pattern="%d{yyyy-MM-dd HH:mm:ss.SSS} [%t] %-5level %logger{36} - %msg%n" />
			<Policies>
				<SizeBasedTriggeringPolicy size="250 MB" />
			</Policies>
			<DefaultRolloverStrategy max="20" />
		</RollingFile>
    
		<RollingFile name="error_file" filename="${errPath}/${errName}.log"
			filepattern="${errPath}/history-%i-${logName}_error.log.gz" >
			<Filters>
				<ThresholdFilter level="error" onMatch="ACCEPT"
					onMismatch="DENY" />
			</Filters>
			<PatternLayout
				pattern="%d{yyyy-MM-dd HH:mm:ss.SSS} [%t] %-5level %logger{36} - %msg%n" />
			<Policies>
				<SizeBasedTriggeringPolicy size="250 MB" />
			</Policies>
			<DefaultRolloverStrategy max="20" />
		</RollingFile>
    
	</appenders>

	<loggers>
		<AsyncLogger name="cn.cmvideo" level="debug" additivity="false" includeLocation="false" >
			<AppenderRef ref="log_file" />
			<AppenderRef ref="error_file" />
		</AsyncLogger>
	</loggers>
  
</configuration>
压测结果

在这里插入图片描述

同步Logger+bufferedIO(默认开启)+immediateFlush=“false”

在同步Logger+bufferedIO的基础上，在appender上加上了immediateFlush=“false”，表示开启批量刷盘，这个时候不会记录一条日志就写一次磁盘，会根据bufferSize的大小，一次性刷盘。（bufferSize可以自己设置，默认是8K）

<?xml version="1.0" encoding="UTF-8"?>
<configuration status="OFF">
	<properties>
		<property name="logPath">log</property>
		<property name="logName">userValidator-rest</property>
		<property name="errPath">log/err</property>
		<property name="errName">userValidator-error</property>


	</properties>

	<appenders>
		<!--<Console name="Console" target="SYSTEM_OUT">
			<PatternLayout
				pattern="%d{yyyy-MM-dd HH:mm:ss.SSS} [%t] %-5level %logger{36} - %msg%n" />
		</Console>-->

		<RollingFile name="log_file" filename="${logPath}/${logName}.log"
			filepattern="${logPath}/history-%i-${logName}.log.gz" immediateFlush="false" >
			<Filters>
				<ThresholdFilter level="error" onMatch="DENY"
					onMismatch="NEUTRAL" />
				<ThresholdFilter level="debug" onMatch="ACCEPT"
					onMismatch="DENY" />
			</Filters>
			<PatternLayout
				pattern="%d{yyyy-MM-dd HH:mm:ss.SSS} [%t] %-5level %logger{36} - %msg%n" />
			<Policies>
				<SizeBasedTriggeringPolicy size="250 MB" />
			</Policies>
			<DefaultRolloverStrategy max="20" />
		</RollingFile>


		<RollingFile name="error_file" filename="${errPath}/${errName}.log"
			filepattern="${errPath}/history-%i-${logName}_error.log.gz" immediateFlush="false" >
			<Filters>
				<ThresholdFilter level="error" onMatch="ACCEPT"
					onMismatch="DENY" />
			</Filters>
			<PatternLayout
				pattern="%d{yyyy-MM-dd HH:mm:ss.SSS} [%t] %-5level %logger{36} - %msg%n" />
			<Policies>
				<SizeBasedTriggeringPolicy size="250 MB" />
			</Policies>
			<DefaultRolloverStrategy max="20" />
		</RollingFile>



	</appenders>


	<loggers>
		<Logger name="cn.cmvideo" level="debug" additivity="false" includeLocation="false" >
			<AppenderRef ref="log_file" />
			<AppenderRef ref="error_file" />
		</Logger>
	</loggers>
</configuration>
压测结果

image-20210610174851737

异步AsyncLogger+bufferedIO(默认开启)+immediateFlush=“false”

性能比只使用AsyncLogger要低一些，个人理解是由于immediateFlush已经把io阻塞的问题通过Buffer优化了，再加上异步缓存，其实只是多了一次上下文切换，并不能进一步消峰。但是immediateFlush有一个缺点，就是会导致日志记录时间，不能反应event实际发生的时间。（因为要等到buffer满了一次性刷盘）

<?xml version="1.0" encoding="UTF-8"?>
<configuration status="OFF">
	<properties>
		<property name="logPath">log</property>
		<property name="logName">userValidator-rest</property>
		<property name="errPath">log/err</property>
		<property name="errName">userValidator-error</property>


	</properties>

	<appenders>
		<!--<Console name="Console" target="SYSTEM_OUT">
			<PatternLayout
				pattern="%d{yyyy-MM-dd HH:mm:ss.SSS} [%t] %-5level %logger{36} - %msg%n" />
		</Console>-->

		<RollingFile name="log_file" filename="${logPath}/${logName}.log"
			filepattern="${logPath}/history-%i-${logName}.log.gz" immediateFlush="false" >
			<Filters>
				<ThresholdFilter level="error" onMatch="DENY"
					onMismatch="NEUTRAL" />
				<ThresholdFilter level="debug" onMatch="ACCEPT"
					onMismatch="DENY" />
			</Filters>
			<PatternLayout
				pattern="%d{yyyy-MM-dd HH:mm:ss.SSS} [%t] %-5level %logger{36} - %msg%n" />
			<Policies>
				<SizeBasedTriggeringPolicy size="250 MB" />
			</Policies>
			<DefaultRolloverStrategy max="20" />
		</RollingFile


		<RollingFile name="error_file" filename="${errPath}/${errName}.log"
			filepattern="${errPath}/history-%i-${logName}_error.log.gz" immediateFlush="false" >
			<Filters>
				<ThresholdFilter level="error" onMatch="ACCEPT"
					onMismatch="DENY" />
			</Filters>
			<PatternLayout
				pattern="%d{yyyy-MM-dd HH:mm:ss.SSS} [%t] %-5level %logger{36} - %msg%n" />
			<Policies>
				<SizeBasedTriggeringPolicy size="250 MB" />
			</Policies>
			<DefaultRolloverStrategy max="20" />
		</RollingFile>



	</appenders>


	<loggers>
		<AsyncLogger name="cn.cmvideo" level="debug" additivity="false" includeLocation="false" >
			<AppenderRef ref="log_file" />
			<AppenderRef ref="error_file" />
		</AsyncLogger>
	</loggers>
</configuration>
压测结果

在这里插入图片描述

异步AsyncLogger+bufferedIO(默认开启)+immediateFlush=“false” + RollingRandomAccessFileAppender

Appender 修改成 RollingRandomAccessFile

<?xml version="1.0" encoding="UTF-8"?>
<configuration status="OFF">
  
	<properties>
		<property name="logPath">log</property>
		<property name="logName">userValidator-rest</property>
		<property name="errPath">log/err</property>
		<property name="errName">userValidator-error</property>
	</properties>

	<appenders>

		<RollingRandomAccessFile name="log_file" filename="${logPath}/${logName}.log"
			filepattern="${logPath}/history-%i-${logName}.log.gz" immediateFlush="false" >
			<Filters>
				<ThresholdFilter level="error" onMatch="DENY"
					onMismatch="NEUTRAL" />
				<ThresholdFilter level="debug" onMatch="ACCEPT"
					onMismatch="DENY" />
			</Filters>
			<PatternLayout
				pattern="%d{yyyy-MM-dd HH:mm:ss.SSS} [%t] %-5level %logger{36} - %msg%n" />
			<Policies>
				<SizeBasedTriggeringPolicy size="250 MB" />
			</Policies>
			<DefaultRolloverStrategy max="20" />
		</RollingRandomAccessFile>


		<RollingRandomAccessFile name="error_file" filename="${errPath}/${errName}.log"
			filepattern="${errPath}/history-%i-${logName}_error.log.gz" immediateFlush="false" >
			<Filters>
				<ThresholdFilter level="error" onMatch="ACCEPT"
					onMismatch="DENY" />
			</Filters>
			<PatternLayout
				pattern="%d{yyyy-MM-dd HH:mm:ss.SSS} [%t] %-5level %logger{36} - %msg%n" />
			<Policies>
				<SizeBasedTriggeringPolicy size="250 MB" />
			</Policies>
			<DefaultRolloverStrategy max="20" />
		</RollingRandomAccessFile>

	</appenders>


	<loggers>
		<AsyncLogger name="cn.cmvideo" level="debug" additivity="false" includeLocation="false" >
			<AppenderRef ref="log_file" />
			<AppenderRef ref="error_file" />
		</AsyncLogger>
	</loggers>
</configuration>
压测结果

在这里插入图片描述

通过Jmeter起30个线程进行压测
异步AsyncLogger+bufferedIO(默认开启)+immediateFlush=“false” + RollingRandomAccessFileAppender

不稳定TPS一开始比较高，后面慢慢滑落

前20s吞吐量非常高：

在这里插入图片描述

然后慢慢下降，最终:

在这里插入图片描述

异步AsyncLogger+bufferedIO(默认开启)+immediateFlush=“false”

不稳定TPS一开始比较高，后面慢慢滑落

前20s吞吐量非常高：

image-20210610211316652

然后慢慢下降，最终:
在这里插入图片描述

异步AsyncLogger+bufferedIO(默认开启)

image-20210610212210239

同步Logger+bufferedIO(默认开启)+immediateFlush=“false”

如果日志量非常大，并且日志的生产速度大于写文件的速度，那么还是同步的Logger+immediateFlush=“false”效率比较高，建议直接将日志写入kafka

在这里插入图片描述

Wengy.Xu
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Log4j2Scanner
02-23
Log4j2-Scan
Logback详解
热门推荐
霓虹深处
09-13 5万+
简介 Logback是SpringBoot内置的日志处理框架,你会发现spring-boot-starter其中包含了spring-boot-starter-logging，该依赖内容就是 Spring Boot 默认的日志框架 logback。官方文档：http://logback.qos.ch/manual/ SpringBoot默认Logback配置 在我们启动SpringBoot，发现我们并没有主动去配置过任何和日志打印的相关配置，但是控制台却打印了相关的启动日志；因为SpringBoot为Logb
Java日志框架Log4j 2详解
最新发布
a15766649633的博客
03-11 1673
这是一篇Log4j 2的详解，感兴趣的可以观看
tomcat9 slf4j+log4j2 写日志.zip
12-27
针对 tomcat9 slf4j+log4j2 不写日志的问题进行修复
Log4j2、Fastjson、Log4j的BurpSuite插件亲测有效
06-07
Log4j2、Fastjson、Log4j的BurpSuite插件亲测有效，非常好用老版的BurpSuite和新版的都可以使用。祝大家挖洞顺利（工具仅用于学习交流）
老生常谈Log4j和Log4j2的区别(推荐)
08-30
下面小编就为大家带来老生常谈Log4j和Log4j2的区别(推荐)。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
logback性能优化详解
弹指天下
06-06 3801
不正确的日志打印不但会降低程序运行性能，还会占用大量IO资源和硬盘存储空间。本文主要总结一些能提高日志打印性能的手段。
logback基本设置
pukun888的博客
03-22 819
logback依次寻找配置文件 logback-test.xml logback.groovy logback.xml 通过 JDK 提供的 ServiceLoader 工具在类路径下寻找文件 META-INFO/services/ch.qos.logback.classic.spi.Configurator 通过 BasicConfigurator 为自己进行配置，并且日志将会全部在控制台打印出来 设置变量 <configuration> <!-- 设置变量
一次Log4j2日志输出阻塞问题的定位
ZERO
07-24 3583
问题现象 线上某个应用的某个实例突然出现某些次请求服务响应极慢的情况，有几次请求超过 60s 才返回，并且通过日志发现，服务线程并没有做什么很重的操作。这种情况断断续续持续了半小时左右。 核心问题定位 由于半小时后，服务实例恢复正常，并且出现请求极慢的次数并不太多，没有能及时打印出现问题的时候线程堆栈采集相关信息。但是，我们有自己的法宝，JFR（关于 JFR，请参考我的另一系列JFR全解）。 JFR 非常适合用来事后复盘定位问题，并且配置得当的话，性能损耗极小，并且不像 APM 系统一样需要额外的采集以及需
log4j2的使用
mengml_smile的博客
09-23 237
log4j2配置分析 Appender 定义 Appenders are responsible for delivering LogEvents to their destination 种类 FailoverAppender 将尝试向队列中的Appender依次输出LogEvent，直到有一个成功为止 作用 失败后的保全策略(例如kafka没有生产成功后落入文件) FlumeAppender type="Avro"方式写入flume 相当于log4j充当flume的source AsynchApp
Log4j2同步日志，混合日志和异步日志配置详解
孤云博客
06-16 4716
Log4j 2中记录日志的方式有同步日志和异步日志两种方式，其中异步日志又可分为使用AsyncAppender和使用AsyncLogger两种方式。 同步日志 所谓同步日志，即当输出日志时，必须等待日志输出语句执行完毕后，才能执行后面的业务逻辑语句。 下面给出小编在开发中的配置 <?xml version="1.0" encoding="UTF-8"?> <Configuration> <Properties> <!-- 日志输出
log4j2_rce 项目
02-23
这是存在log4j jndi注入的项目，可以用idea编译，用网上工具复现一遍
Log4j日志配置详解(Log4j2)
fz13768884254的博客
07-26 1万+
Log4j日志配置详解 一、Log4j升级Log4j2 首先来说一下日志升级，log4j配置的变化，配置文件从log4j.xml变成了log4j2.xml，配置文件的内容也有很大不同，log file现在可以同时支持时间和文件大小分割。而且log4j2支持log的动态变化加载，直接指定监控周期就可。下面给出一个简单配置例子。 例子中使用了async模式，rollfile本身必须设置成immed...
log4j使用详解
jordandandan的专栏
02-25 409
在项目中的classes 中新建立一个log4j.properties文件即可；   在实际编程时，要使Log4j真正在系统中运行事先还要对配置文件进行定义。定义步骤就是对Logger、Appender及Layout的分别使用。Log4j支持两种配置文件格式，一种是XML格式的文件，一种是java properties（key=value）【Java特性文件（键=值）】。（这里只说明prope
log4j：踩坑记录：log4j2异步日志无法打印%L %M等位置信息
weixin_38569499的博客
02-19 9348
问题描述： 最近项目想打印更详细的日志信息，包括打印日志的位置和方法。在log4j2的配置文件中为格式添加%L和%M后，发现并不能打印出行号和方法名。 不了解log4j2配置文件请参考log4j2配置文件解析。 问题分析： 一通乱七八糟的操作后，毫无用处，还是乖乖的去看官方文档吧。由于配置文件使用的是PatternLayout，所以在官网找到PatternLayou...
Log4j2同步异步性能比较以及教程和问题(坑)汇总
weixin_30906701的博客
10-11 1130
线程数:500个 每个线程日志输出次数: 500次 log4j2其实有两个输出异步日志的方式:AsyncLogger和AsyncAppend 他两的区别在于: AsyncLogger使用的是无锁高性能队列disruptor,底层是依赖数组实现的RingBuffer和CAS改变下标实现,并且不会出现伪共享缓存,关于disruptor的详情可以看下面这篇 https://ifeve.co...
【记录】log4j2日志xml配置项属性
wangy_0228的专栏
10-12 285
log4j2.xml配置属性说明；
log4j入门采坑
Lumeir的博客
12-13 258
简介 日志的重要性不多说了，使用方法就是把log4j的jar包扔到项目里，然后在资源文件夹中添加一个log4j.properties的配置文件即可，下面直接说属性文件的配置，（刚入门，只学会了这一种配置方式）xml形式的配置省略了哈 log4j下载地址 maven依赖 <dependency> <groupId>log4j</groupId> &...
log4j日志管理
yinggenan的博客
11-11 830
log4j，日志系统，配置
log4j转log4j2
03-30
log4j和log4j2都是日志框架，但它们的使用方式和配置方式有所不同。如果要将log4j的配置转换为log4j2的配置，可以采用以下步骤： 1. 导入log4j2的依赖 在Maven项目中，在pom.xml文件中添加以下依赖： ```xml <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-api</artifactId> <version>2.14.1</version> </dependency> <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-core</artifactId> <version>2.14.1</version> </dependency> ``` 2. 修改日志文件配置 将log4j的日志文件配置（如log4j.properties或log4j.xml）转换为log4j2的配置文件（如log4j2.properties或log4j2.xml），并将其放置在classpath下。 注意：log4j2的配置文件的格式与log4j的配置文件的格式不同，需要按照log4j2的格式进行修改。 3. 修改代码中的日志引用 将Java代码中使用的`org.apache.log4j`包的引用替换为`org.apache.logging.log4j`包的引用。 例如： ```java import org.apache.log4j.Logger; ``` 替换为： ```java import org.apache.logging.log4j.LogManager; import org.apache.logging.log4j.Logger; ``` 4. 修改日志输出语句 将Java代码中使用的log4j的日志输出语句： ```java logger.debug("debug message"); ``` 替换为log4j2的日志输出语句： ```java logger.debug("debug message"); ``` 注意：log4j2的日志输出语句的格式与log4j的日志输出语句的格式不同，需要按照log4j2的格式进行修改。 5. 测试日志输出 完成以上步骤后，可以测试日志的输出是否正常。如果输出正常，则表示成功将log4j的配置转换为log4j2的配置。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值