引言
在现代软件开发中,日志记录是一个至关重要的组成部分。它不仅可以帮助我们理解系统运行状况,还可以在出现故障时进行问题排查。然而,如果日志记录过于频繁和耗时,将会严重影响系统性能。因此,本文将向您介绍异步技巧,通过将日志记录切换到异步模式,让日志记录速度从2秒提速到2毫秒!
了解异步编程
异步编程是一种并发编程方式,它允许程序在执行某些操作时不会被阻塞,而是继续执行其他任务。这种机制对于日志记录非常有用,因为它可以在后台线程或进程中处理日志记录,不会阻塞主线程的执行。异步编程的关键原则包括异步任务的启动和等待,以及在异步任务中处理异常情况。
切换到异步日志记录
首先,评估当前日志系统的性能,确保切换到异步日志记录是有必要的。然后,选择合适的异步日志记录器,常见的有"asyncio"和"concurrent.futures"等库。接下来,根据所选的库,配置和集成异步日志记录器到您的项目中,确保正确处理日志输出。
使用并发技术加速日志记录
了解并发技术如多线程和多进程,它们可以帮助您实现更高效的日志记录。在日志记录中使用多线程时,将日志写入任务提交给线程池,从而减少日志写入的延迟。而使用多进程时,可以利用多核处理器来并行处理日志,加速记录过程。
优化日志记录代码
优化日志记录代码可以进一步提高性能。减少日志频率和数据量,只记录必要的信息,可以减少写入操作的次数。避免在主线程中执行耗时操作,将其交给异步任务处理,以确保主线程的流畅执行。同时,选择适当的日志级别和格式化选项,以平衡日志详细程度和性能损耗。
处理日志实现代码
@Aspect
@Slf4j
@Component
public class LogAspect {
@Pointcut("execution(* you.package.name.*.controller.*Controller.*(..)) || execution(* you.package.name.*.service.*Service.*(..))")
private void pointCut() {
}
@Around("pointCut()")
public Object around(ProceedingJoinPoint pjp) throws Throwable {
Object[] reqArgs = pjp.getArgs();
String req = new Gson().toJson(reqArgs);
MethodSignature methodSignature = (MethodSignature) pjp.getSignature();
String methodName = methodSignature.getDeclaringType().getName() + "." + methodSignature.getName();
log.info("{},req:{}", methodName, req);
Long startTime = System.currentTimeMillis();
Object responseObj = pjp.proceed();
String resp = new Gson().toJson(responseObj);
Long endTime = System.currentTimeMillis();
log.info("{},response:{},costTime:{}", methodName, resp, endTime - startTime);
return responseObj;
}
}
<?xml version="1.0" encoding="UTF-8"?>
<!--Configuration后面的status,这个用于设置log4j2自身内部的信息输出,可以不设置,当设置成trace时,你会看到log4j2内部各种详细输出-->
<!--monitorInterval:Log4j能够自动检测修改配置 文件和重新配置本身,设置间隔秒数-->
<configuration status="INFO" monitorInterval="5">
<!--日志级别以及优先级排序: OFF > FATAL > ERROR > WARN > INFO > DEBUG > TRACE > ALL -->
<!--变量配置-->
<Properties>
<!-- 格式化输出:%date表示日期,%thread表示线程名,%-5level:级别从左显示5个字符宽度 %msg:日志消息,%n是换行符-->
<!-- %logger{36} 表示 Logger 名字最长36个字符 -->
<property name="LOG_PATTERN" value="%date{HH:mm:ss.SSS} %X{PFTID} [%thread] %-5level %logger{36} - %msg%n" />
<!-- 定义日志存储的路径 -->
<property name="FILE_PATH" value="../log" />
<property name="FILE_NAME" value="frame.log" />
</Properties>
<!--https://logging.apache.org/log4j/2.x/manual/appenders.html-->
<appenders>
<console name="Console" target="SYSTEM_OUT">
<!--输出日志的格式-->
<PatternLayout pattern="${LOG_PATTERN}"/>
<!--控制台只输出level及其以上级别的信息(onMatch),其他的直接拒绝(onMismatch)-->
<ThresholdFilter level="info" onMatch="ACCEPT" onMismatch="DENY"/>
</console>
<!--文件会打印出所有信息,这个log每次运行程序会自动清空,由append属性决定,适合临时测试用-->
<File name="fileLog" fileName="${FILE_PATH}/temp.log" append="false">
<PatternLayout pattern="${LOG_PATTERN}"/>
</File>
<!-- 这个会打印出所有的info及以下级别的信息,每次大小超过size,则这size大小的日志会自动存入按年份-月份建立的文件夹下面并进行压缩,作为存档-->
<RollingFile name="RollingFileInfo" fileName="${FILE_PATH}/info.log" filePattern="${FILE_PATH}/${FILE_NAME}-INFO-%d{yyyy-MM-dd}_%i.log.gz">
<!--控制台只输出level及以上级别的信息(onMatch),其他的直接拒绝(onMismatch)-->
<ThresholdFilter level="info" onMatch="ACCEPT" onMismatch="DENY"/>
<PatternLayout pattern="${LOG_PATTERN}"/>
<Policies>
<!--interval属性用来指定多久滚动一次,默认是1 hour-->
<TimeBasedTriggeringPolicy interval="1"/>
<SizeBasedTriggeringPolicy size="10MB"/>
</Policies>
<!-- DefaultRolloverStrategy属性如不设置,则默认为最多同一文件夹下7个文件开始覆盖-->
<DefaultRolloverStrategy max="15"/>
</RollingFile>
<!-- 这个会打印出所有的warn及以下级别的信息,每次大小超过size,则这size大小的日志会自动存入按年份-月份建立的文件夹下面并进行压缩,作为存档-->
<RollingFile name="RollingFileWarn" fileName="${FILE_PATH}/warn.log" filePattern="${FILE_PATH}/${FILE_NAME}-WARN-%d{yyyy-MM-dd}_%i.log.gz">
<!--控制台只输出level及以上级别的信息(onMatch),其他的直接拒绝(onMismatch)-->
<ThresholdFilter level="warn" onMatch="ACCEPT" onMismatch="DENY"/>
<PatternLayout pattern="${LOG_PATTERN}"/>
<Policies>
<!--interval属性用来指定多久滚动一次,默认是1 hour-->
<TimeBasedTriggeringPolicy interval="1"/>
<SizeBasedTriggeringPolicy size="10MB"/>
</Policies>
<!-- DefaultRolloverStrategy属性如不设置,则默认为最多同一文件夹下7个文件开始覆盖-->
<DefaultRolloverStrategy max="15"/>
</RollingFile>
<!-- 这个会打印出所有的error及以下级别的信息,每次大小超过size,则这size大小的日志会自动存入按年份-月份建立的文件夹下面并进行压缩,作为存档-->
<RollingFile name="RollingFileError" fileName="${FILE_PATH}/error.log" filePattern="${FILE_PATH}/${FILE_NAME}-ERROR-%d{yyyy-MM-dd}_%i.log.gz">
<!--控制台只输出level及以上级别的信息(onMatch),其他的直接拒绝(onMismatch)-->
<ThresholdFilter level="error" onMatch="ACCEPT" onMismatch="DENY"/>
<PatternLayout pattern="${LOG_PATTERN}"/>
<Policies>
<!--interval属性用来指定多久滚动一次,默认是1 hour-->
<TimeBasedTriggeringPolicy interval="1"/>
<SizeBasedTriggeringPolicy size="10MB"/>
</Policies>
<!-- DefaultRolloverStrategy属性如不设置,则默认为最多同一文件夹下7个文件开始覆盖-->
<DefaultRolloverStrategy max="15"/>
</RollingFile>
</appenders>
<root level="info">
<appender-ref ref="Console"/>
<appender-ref ref="RollingFileInfo"/>
<appender-ref ref="RollingFileWarn"/>
<appender-ref ref="RollingFileError"/>
<appender-ref ref="fileLog"/>
</root>
</loggers>
</configuration>