异步日志:性能优化的金钥匙

异步日志:性能优化的金钥匙

一、背景

2024 年 4 月的一个宁静的夜晚,正当大家忙完一天的工作准备休息时,应急群里“咚咚咚”开始报警,提示我们余利宝业务的赎回接口成功率下降。

通过 Monitor 监控发现,该接口的耗时已经超过了网关配置的超时阈值(2s),我们临时调整超时阈值止血后,就在排查问题的根因。具体排查过程不是我这篇文章的重点,故忽略,但最终我们发现最近上线新加的相邻两行的日志中,时间相差近 1.5s,难道这就是问题的根源吗?

后来,我们去掉了这两行日志后紧急发布,事实证明我们的思路是对的。紧急发布后,该接口的耗时由之前的 2s 左右,优化到了 600ms 左右。后来我们分析发现:该接口在打印日志时,由于要实现日志脱敏,故在 Logger.info 入口处实现了脱敏功能,但是大日志脱敏比较耗时,从而导致该接口的同步调用耗时激增到 1.5s 左右(后面我们会说如何解决这个问题)。我的天呐,一行日志竟是性能优化的金钥匙!!!🤣

但这里有一个问题,我们是去掉了日志的打印,侵入了业务,同时该应用还是用的 log4j 的日志框架,log4j 原生框架是不支持日志异步化的,因此要从根本上业务无侵入的解决因日志而导致的性能问题,需要熟悉 log4j2 的框架原理。

二、原理

2.1 Log4j2 的优势

1)性能: Log4j2 使用基于 Lambda 的异步记录器,显著提高了日志记录的速度,减少了日志操作对应用性能的影响。相比之下,Logback 虽然也支持异步记录,但实现上不如 Log4j2 高效。通过减少对象创建、高效的字符串处理和池化技术,Log4j2 在高并发场景下表现更佳。

2)配置灵活性: 支持多种配置方式,包括 XML、JSON、YAML、properties 文件,甚至编程式配置,提供更大的灵活性。动态重新配置能力,允许在不重启应用的情况下修改日志配置。

3)插件架构: Log4j2 采用插件架构,几乎所有组件(如 Appenders、Layouts、Filters)都是可插拔的,易于扩展和自定义。内置丰富的插件库,开箱即用,简化集成过程。

4)内存和资源管理: 更高效的内存管理,减少内存泄漏的风险,尤其是在大量日志输出时。支持垃圾回收友好的设计,比如基于 Disrupter 的 RingBuffer 等数据结构减少 GC 压力。

5)可靠性: 强大的故障恢复机制,如重试和备用 Appenders,确保日志能够被记录下来,即使主要的日志输出目的地不可用。

6)先进的特性:

  • 支持条件日志记录(Conditionals),可以根据运行时条件决定是否记录日志。

  • 自动重新加载配置文件变化,无需重启应用。

  • 支持 JMX 监控和管理日志系统状态。

7)与 SLF4J 的集成:虽然这不是特有优势,但 Log4j2 提供了与 SLF4J(Simple Logging Facade for Java)的良好集成,使得从其他日志框架迁移更加平滑。

总的来说,Log4j2 的设计更现代化,强调高性能、易用性和灵活性,特别是在大规模分布式系统和高性能应用中表现突出。而 Logback 和 Log4j 1.x 虽有各自的优点,但在这些方面逐渐显得力不从心。至于 Java Util Logging (JUL),它是 Java 标准库的一部分,但功能相对基础,配置和扩展性不如 Log4j2 和 Logback 灵活。

2.2 Log4j2 的结构

Log4j2 的结构主要包括以下几个核心组件:

1)Logger: 这是开发者直接使用的接口,用于记录不同级别的日志信息(如 DEBUG, INFO, ERROR 等)。每个 Logger 都有一个名称,并且支持继承性,形成一个名为 Logger Hierarchy 的树状结构,根 Logger 的名称为'root'。

2)LoggerContext: 是日志系统的上下文环境,管理着一组 Logger 实例以及它们的配置。每个应用程序通常只有一个 LoggerContext,但它支持多个上下文以实现更细粒度的控制。

3)Configuration: 每个 LoggerContext 都关联一个有效的 Configuration,定义了日志的输出目的地(Appenders)、日志的过滤规则(Filters)、日志的格式化方式(Layouts)等。Configuration 可以通过配置文件(如 XML、JSON、properties)或编程方式动态加载。

4

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值