Logback 配置文件这么写，TPS提高 10 倍

最新推荐文章于 2024-08-19 19:33:51 发布
最新推荐文章于 2024-08-19 19:33:51 发布
阅读量102 收藏 1
点赞数
文章标签： 中间件 java python 数据库 spring
原文链接：https://mp.weixin.qq.com/s?__biz=MzUxOTc4NjEyMw==&mid=2247525645&idx=1&sn=f5a6aaced49e5177fbd685943bf2e94c&chksm=f9f67ee9ce81f7ffea8c065d2b3ee118808dfa1648c8991d05ff36e3cd628477b2b82728b95a&scene=126&&sessionid=0
版权

点击上方“Java基基”，选择“设为星标”

做积极的人，而不是积极废人！

每天 14:00 更新文章，每天掉亿点点头发...

源码精品专栏

 

来源：juejin.im/post/
5d4d61326fb9a06aff5e5ff5

7f5fc4af31f31e2f1f27515665dc2bda.png

“

最近艿艿和朋友正在肝一个 SpringBoot + Vue 的开源项目：https://github.com/YunaiV/ruoyi-vue-pro

记得 Star 关注下噢，胖友们的支持，真的很重要！ 

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序，支持多租户、数据权限、工作流、社交登录、聚合支付、短信、商城等功能。你的 Star，是作者生发的动力！

受台风利奇马的影响很多地方都迎来了强降雨，双休日不能出去玩一起学习吧，就先从最基本的配置讲起再介绍高级特性异步输出日志。如果只想看异步输出日志提升性能的部分请将文章往下拉一点。

通过阅读本篇文章将了解到

  1. 日志输出到文件并根据LEVEL级别将日志分类保存到不同文件

  2. 通过异步输出日志减少磁盘IO提高性能

  3. 异步输出日志的原理

“

推荐下自己做的 Spring Boot 的实战项目：

https://github.com/YunaiV/ruoyi-vue-pro

配置文件logback-spring.xml

SpringBoot工程自带logback和slf4j的依赖，所以重点放在编写配置文件上，需要引入什么依赖，日志依赖冲突统统都不需要我们管了。

logback框架会默认加载classpath下命名为logback-spring或logback的配置文件。将所有日志都存储在一个文件中文件大小也随着应用的运行越来越大并且不好排查问题，正确的做法应该是将error日志和其他日志分开，并且不同级别的日志根据时间段进行记录存储。

<?xml version="1.0" encoding="utf-8"?>
<configuration>
    <property resource="logback.properties"/>
    <appender name="CONSOLE-LOG" class="ch.qos.logback.core.ConsoleAppender">
        <layout class="ch.qos.logback.classic.PatternLayout">
            <pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
        </layout>
    </appender>
    <!--获取比info级别高(包括info级别)但除error级别的日志-->
    <appender name="INFO-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <level>ERROR</level>
            <onMatch>DENY</onMatch>
            <onMismatch>ACCEPT</onMismatch>
        </filter>
        <encoder>
            <pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
        </encoder>

        <!--滚动策略-->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--路径-->
            <fileNamePattern>${LOG_INFO_HOME}//%d.log</fileNamePattern>
            <maxHistory>30</maxHistory>
        </rollingPolicy>
    </appender>
    <appender name="ERROR-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>ERROR</level>
        </filter>
        <encoder>
            <pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
        </encoder>
        <!--滚动策略-->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--路径-->
            <fileNamePattern>${LOG_ERROR_HOME}//%d.log</fileNamePattern>
            <maxHistory>30</maxHistory>
        </rollingPolicy>
    </appender>

    <root level="info">
        <appender-ref ref="CONSOLE-LOG" />
        <appender-ref ref="INFO-LOG" />
        <appender-ref ref="ERROR-LOG" />
    </root>
</configuration>
“

推荐下自己做的 Spring Cloud 的实战项目：

https://github.com/YunaiV/onemall

部分标签说明

<root>标签，必填标签，用来指定最基础的日志输出级别

  • <appender-ref>标签，添加append

<append>标签，通过使用该标签指定日志的收集策略

  • name属性指定appender命名

  • class属性指定输出策略，通常有两种，控制台输出和文件输出，文件输出就是将日志进行一个持久化。ConsoleAppender将日志输出到控制台

<filter>标签，通过使用该标签指定过滤策略

  • <level>标签指定过滤的类型

<encoder>标签，使用该标签下的标签指定日志输出格式<rollingPolicy>标签指定收集策略，比如基于时间进行收集

  • <fileNamePattern>标签指定生成日志保存地址，通过这样配置已经实现了分类分天手机日志的目标了

3e785e170ae4779d1c9ba2f35a5ce91a.png

logback 高级特性异步输出日志

之前的日志配置方式是基于同步的，每次日志输出到文件都会进行一次磁盘IO。采用异步写日志的方式而不让此次写日志发生磁盘IO，阻塞线程从而造成不必要的性能损耗。异步输出日志的方式很简单，添加一个基于异步写日志的appender，并指向原先配置的appender即可

<!-- 异步输出 -->
    <appender name="ASYNC-INFO" class="ch.qos.logback.classic.AsyncAppender">
        <!-- 不丢失日志.默认的,如果队列的80%已满,则会丢弃TRACT、DEBUG、INFO级别的日志 -->
        <discardingThreshold>0</discardingThreshold>
        <!-- 更改默认的队列的深度,该值会影响性能.默认值为256 -->
        <queueSize>256</queueSize>
        <!-- 添加附加的appender,最多只能添加一个 -->
        <appender-ref ref="INFO-LOG"/>
    </appender>

    <appender name="ASYNC-ERROR" class="ch.qos.logback.classic.AsyncAppender">
        <!-- 不丢失日志.默认的,如果队列的80%已满,则会丢弃TRACT、DEBUG、INFO级别的日志 -->
        <discardingThreshold>0</discardingThreshold>
        <!-- 更改默认的队列的深度,该值会影响性能.默认值为256 -->
        <queueSize>256</queueSize>
        <!-- 添加附加的appender,最多只能添加一个 -->
        <appender-ref ref="ERROR-LOG"/>
    </appender>

异步输出日志性能测试

既然能提高性能的话，必须进行一次测试比对，同步和异步输出日志性能到底能提升多少倍？

服务器硬件

  • CPU 六核

  • 内存 8G

测试工具

  • Apache Jmeter

同步输出日志

  • 线程数：100

  • Ramp-Up Loop(可以理解为启动线程所用时间) ：0

  • 可以理解为100个线程同时启用

测试结果

8585bd0d078aa466d4738dc5f43659fb.png

重点关注指标Throughput【TPS】吞吐量：系统在单位时间内处理请求的数量，在同步输出日志中TPS为44.2/sec

异步输出日志

  • 线程数 100

  • Ramp-Up Loop：0

测试结果

8319abc4fd1e98a7041eb9ef08d570c6.png

TPS为497.5/sec，性能提升了10多倍！！！

异步日志输出原理

从logback框架下的Logger.info方法开始追踪。一路的方法调用路径如下图所示：

87494c7d499b45a114bf4b47c45ec0d0.png

异步输出日志中最关键的就是配置文件中ch.qos.logback.classic包下AsyncAppenderBase类中的append方法，查看该方法的源码:

protected void append(E eventObject) {
        if(!this.isQueueBelowDiscardingThreshold() || !this.isDiscardable(eventObject)) {
            this.preprocess(eventObject);
            this.put(eventObject);
        }
    }

通过队列情况判断是否需要丢弃日志，不丢弃的话将它放到阻塞队列中，通过查看代码，这个阻塞队列为ArrayBlockingQueueu，默认大小为256，可以通过配置文件进行修改。

Logger.info(…)到append(…)就结束了，只做了将日志塞入到阻塞队列的事，然后继续执行Logger.info(…)下面的语句了。

在AsyncAppenderBase类中定义了一个Worker线程，run方法中的关键部分代码如下:

E e = parent.blockingQueue.take();
aai.appendLoopOnAppenders(e);

最主要的两个方法就是encode和write方法，前一个法方会根据配置文件中encode指定的方式转化为字节码，后一个方法将转化成的字节码写入到文件中去。所以写文件是通过新起一个线程去完成的，主线程将日志扔到阻塞队列中，然后又去做其他事情了。

源码

“

https://github.com/TiantianUpup/springboot-log

欢迎加入我的知识星球，一起探讨架构，交流源码。加入方式，长按下方二维码噢：

506ac2d437854846cea9e8d54c0bc068.png

已在知识星球更新源码解析如下：

811e3efdd2e90b3498f22e2104d789f7.png

0d7879f4166495d479183a5b5f316331.png

6bfe9726035bf8c88c1d21919ae541bd.png

d3ef1b016db0dd9f8156c6648bc16866.png

最近更新《芋道 SpringBoot 2.X 入门》系列，已经 101 余篇，覆盖了 MyBatis、Redis、MongoDB、ES、分库分表、读写分离、SpringMVC、Webflux、权限、WebSocket、Dubbo、RabbitMQ、RocketMQ、Kafka、性能测试等等内容。

提供近 3W 行代码的 SpringBoot 示例，以及超 6W 行代码的电商微服务项目。

获取方式：点“在看”，关注公众号并回复 666 领取，更多内容陆续奉上。

文章有帮助的话，在看，转发吧。
谢谢支持哟 (*^__^*）
Java基基
关注
Logback日志这样配置，让你性能提升10倍
java100001的博客
05-09 800
name属性指定appender命名 class属性指定输出策略，通常有两种，控制台输出和文件输出，文 《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》无偿开源 威信搜索公众号【编程进阶路】 件输出就是将日志进行一个持久化。ConsoleAppender将日志输出到控制台 标签，通过使用该标签指定过滤策略 标签指定过滤的类型 标签，使用该标签下的 标签指定日志输出格式。 标签指定收集策略，比如基于时间进行收集 标签指定生成日志保存地址 通过这样配置已经实..
Logback 配置文件这样优化，TPS提高 10 倍
hahazz233的博客
06-23 356
01、通过阅读本篇文章将了解到1.日志输出到文件并根据级别将日志分类保存到不同文件2.通过异步输出日志减少磁盘提高性能3.异步输出日志的原理工程自带和的依赖，所以重点放在编写配置文件上，需要引入什么依赖，日志依赖冲突统统都不需要我们管了。框架会默认加载下命名为或的配置文件。将所有日志都存储在一个文件中文件大小也随着应用的运行越来越大并且不好排查问题，正确的做法应该是将日志和其他日志分开，并且不同级别的日志根据时间段进行记录存储。 部分标签说明标签，必填标签，用来指定最基础的日志输出级别标签，添加标签，通
Logback配置文件这么写，TPS提高10倍
Java笔记虾
08-11 532
点击上方“后端技术精选”，选择“置顶公众号”技术文章第一时间送达！作者：何甜甜在吗juejin.im/post/5d4d61326fb9a06aff5e5ff5受台风利奇...
logback配置文件-入门
最新发布
m0_56199449的博客
08-19 865
介绍logback的配置文件中相关标签的基本使用
Logback配置文件这么写(TPS提高10倍)
08-18
Logback配置文件优化技巧 Logback是Java日志记录框架，广泛应用于...本文介绍了Logback配置文件的写法，旨在提高TPS10倍。我们可以使用异步输出日志、滚动策略和LEVEL级别分类等技术来优化Logback的性能和可读性。
优化Logback配置，提升TPS：日志分类与异步输出
"本文主要探讨如何优化Logback配置文件，以显著提高系统处理事务每秒(TPS)的数量。通过合理的配置，我们可以实现日志按级别分类存储、异步输出以减少磁盘I/O操作，从而提升性能。我们将深入理解配置文件的各个部分，...
Logback日志这样配置，让你性能提升10倍！
IT技术精选文摘
01-12 199
若有收获,请记得分享和转发哦今天我们讲一下logback的异步日志配置，希望通过本文你可以了解以下内容：1.日志输出到文件并根据LEVEL级别将日志分类保存到不同文件2.通过异步输出日志减...
Java日志框架-logback的介绍及配置使用方法（纯Java工程）（转）
weixin_33933118的博客
11-07 197
说明：内容估计有些旧，2011年的，但是大体意思应该没多大变化，最新的配置可以参考官方文档。 一、logback的介绍 Logback是由log4j创始人设计的又一个开源日志组件。logback当前分成三个模块：logback-core，logback- classic和logback-access。logback-core是其它两个模块的基础模块。logback-classic是log4j的...
logback性能优化详解
弹指天下
06-06 4484
不正确的日志打印不但会降低程序运行性能，还会占用大量IO资源和硬盘存储空间。本文主要总结一些能提高日志打印性能的手段。
在SpringBoot-WebFlux中整合log4j2
陆漫漫的博客
01-15 556
  如果说在搭建项目时候第一事是创建项目，那么第二件事就一定是加入日志。日志在项目中有非常重要的作用，小到记录信息，大到排查问题，都要用到。废话不多说，我们直接开始！ 2、在resources文件夹下创建log4j2.xml文件，内容如下： 3、在application.yml中加入 参考文章：SpringBoot系列(12)：SpringBoot集成log4j2日志配置
Spring WebFlux中的响应式编程系列（十六）：日志与监控
阿里渣渣java研发组-群主
06-05 498
在前十五篇文章中，我们探讨了Spring WebFlux的基础概念、Reactor、错误处理、数据流转换、响应式数据库访问、性能优化、安全性、测试、部署与运维、最佳实践与常见陷阱、与微服务架构的集成以及实时数据推送。本篇文章将深入探讨如何在Spring WebFlux应用中实现有效的日志记录与监控，以确保系统的可观测性和稳定性。监控是确保系统稳定性和性能的关键。在Grafana中添加Prometheus数据源，并创建仪表盘以监控Spring WebFlux应用的关键指标，如响应时间、请求数量、错误率等。
【Logback】Logback 的配置文件
swadian2008的博客
03-01 2434
首先，DefaultJoranConfigurator 会尝试查找“logback.configurationFile” 系统属性上指定的文件。如果可以找到该文件，则会读取并解释该文件，然后进行配置。如果没有找到上述文件，DefaultJoranConfigurator 将尝试在类路径上查找配置文件 “logback-test.xml” 。如果可以找到该文件，则会读取并解释该文件，然后进行配置。 如果没有找到上述文件，配置器将继续尝试在类路径中查找配置文件
spring-boot-starter-log4j2漏洞修复方式
dhj8933的博客
12-14 4131
spring-boot-starter-log4j2漏洞修复方式
Spring Boot WebFlux +服务器发送的事件示例
一名可爱的技术搬运工
05-28 1296
在本文中，我们将向您展示如何使用服务器发送的事件开发反应式Web应用程序 Spring Boot 2.1.2发布 Spring WebFlux 5.1.4。发布 Thymeleaf 3.0.11。发布 JUnit 5.3.2 Maven 3 在Spring中，返回JSON和标头MediaType.TEXT_EVENT_STREAM_VALUE @RestContr...
Logback 输出日志性能优化
热门推荐
上善若水
01-03 1万+
笔者负责的一个集成接口平台的应用，其业务功能并不复杂，但是要重点考虑接口的性能。 在进行过异步数据库写入、第三方代码调优、报文解析调优后，基本上已经无可优化性能的代码了。但是在JProfiler的监控里面又发现了logback日志的可优化空间。 问题描述： 下图中可看出logback的日志输出占了64%的cpu消耗，目标就是优化它！ 优化方案： 1. 这部分写日志的代
04-17.eri-test 如何在Spring WebFlux和微服务中处理日志和跟踪
cunbang3337的博客
04-17 428
When I was working with WebFlux, it was hard to find resources on the web. 我在记录和跟踪方面遇到了问题，并试图以我的方式解决它. Here is the main article - https://medium.com/@azizulhaq.ananto/how-to-handle-logs-and-t...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值