利用log42框架自定义日志过滤

最新推荐文章于 2024-07-16 08:52:06 发布
最新推荐文章于 2024-07-16 08:52:06 发布
阅读量1.7k 收藏 1
点赞数
分类专栏： java 文章标签： log4j 自定义日志过滤
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SSAA123LJIO1/article/details/130422784
版权
文章介绍了如何在车联网业务中处理TSP网关的日志问题，由于每小时有大量日志，选择了Log4j2作为日志框架进行优化。通过加载数据库中的tbox白名单到内存缓存，并使用Redis的发布订阅机制实现分布式节点的同步更新。自定义了Log4j2的日志过滤拦截器，只允许包含特定关键字的日志打印，以此减少日志量，提高效率。
摘要由CSDN通过智能技术生成

任务背景：

车联网业务TSP网关打印的日志接入es数据量过大，每小时基本有上亿条日志，快扛不住了。
本着降本增效的原则，需要实现tbox白名单日志打印功能。

框架选择

  • logback
  • log4j2

日志框架的选择网上已经有很多文章，我是参考了如下几篇文章，加上程序中原有框架也是log4j2，所以想着继续延用并在其基础上优化吧。

纠结哇！日志框架选型，Logback 还是 Log4j2？ 转载

Logback与Log4j2日志框架性能对比与调优

Logback 对比 Log4j2

功能设计

  1. 程序启动时候加载数据库tbox白名单数据到程序内缓存，
  2. tbox白名单CRUD，数据库使用mysql，
  3. 每天凌晨定时刷新程序内白名单缓存，
  4. 对数据库tbox白名单做CRUD的时候，实时更新各分布式节点程序的缓存，
  5. 自定义日志过滤拦截器，

前面两点没啥好说的。
第三点是通过redis发布订阅实现的。每次对tbox白名单进行crud的时候向redis的channel “tbox_white_info” 发送一条指令数据，{“refresh”:“true”}，代表需要刷新缓存了。网关程序订阅这个channel，有收到数据就进行刷新缓存的操作。这样就可以同步更新多个分布式订阅节点的数据了。

自定义日志拦截

接下来就是重点了，如何实现自定义log42的日志拦截器。有如下几个步骤
1、继承AbstractFilter
2、使用工厂模式创建你的Filter对象
3、重写filter方法，实现你的业务逻辑
4、定义注解，可以在log4j2.xml中使用

@Plugin(name = "TboxLogFilter", category = Node.CATEGORY, elementType = Filter.ELEMENT_TYPE, printObject = true)
@Slf4j
public class TboxLogFilter extends AbstractFilter {

	private Result onMatch;
	private Result onMisMatch;

	//是否启用白名单日志打印功能
	private Boolean enable = false;

	public TboxLogFilter(boolean enable, Result onMatch, Result onMismatch) {
		super();
		this.enable = enable;
		if(!enable){
			log.info("白名单日志打印功能未启用。");
		}else {
			log.info("白名单日志打印功能开始启用。");
		}
		this.onMatch = onMatch;
		this.onMisMatch = onMismatch;
	}

	//业务
	@Override
	public Result filter(LogEvent event) {
		if(!enable){
			//未开启功能
			return this.onMatch;
		}
		String log = event.getMessage().toString();
		if(!StringUtils.containsIgnoreCase(log,"tbox")
				&& !StringUtils.containsIgnoreCase(log,"tboxsn")
				&& !StringUtils.containsIgnoreCase(log,"sn")){
			//不包含tbox，sn，tboxsn关键字
			return this.onMatch;
		}
		if(GlobalSessionChannel.enableLog(log)){
			return this.onMatch;
		}
		return this.onMisMatch;
	}

	@PluginFactory
	public static TboxLogFilter createFilter(@PluginAttribute("enable") String enable,
	                                        @PluginAttribute("onMatch") final Result match,
	                                        @PluginAttribute("onMismatch") final Result mismatch) {
		assert StringUtils.isNotBlank(enable);
		final Result onMatch = match == null ? Result.NEUTRAL : match;
		final Result onMismatch = mismatch == null ? Result.DENY : mismatch;
		Boolean bo = Boolean.valueOf(enable);
		return new TboxLogFilter(bo , onMatch, onMismatch);
	}

	@Override
	public Result filter(Logger logger, Level level, Marker marker, Object msg, Throwable t) {
		return super.filter(logger, level, marker, msg, t);
	}
}

我这里对这个tbox白名单日志打印过滤功能留了个总开关，方便全局开启和关闭。
同时在过滤逻辑上做了优化，只有当日志中包含关键字“tbox”、“sn”，“tboxsn”（忽略大小写）的时候才会进入是否过滤的判定环节。

接下来是xml的配置了，有需要的同学可以直接使用。

<?xml version="1.0" encoding="UTF-8"?>
<!--设置log4j2的自身log级别为warn-->
<configuration status="warn">
    <Properties>
        <!--<property name="LOG_DIR" value="/opt/log/gateway" />-->
        <property name="LOG_DIR" value="${sys:user.dir}/logs" />
        <property name="PATTERN" value="[%d{yyyy-MM-dd HH:mm:ss.SSS}] [%p] -%t -%c:%L - %m%n" />
        <property name="ROLLING_LOG_SIZE" value="50 MB" />
        <property name="ROLLING_LOG_MAX_NUM" value="10" />
        <property name="ROLLING_LOG_AGE" value="7D" />
    </Properties>

    <appenders>
        <console name="Console" target="SYSTEM_OUT">
            <PatternLayout pattern="${PATTERN}" charset="UTF-8"/>
        </console>

		<RollingFile name="RollingFileDebug" fileName="${LOG_DIR}/debug.log"
                     filePattern="${LOG_DIR}/debug-%d{yyyy-MM-dd}-%i.log">
            <Filters>
                <ThresholdFilter level="DEBUG"/>
                <ThresholdFilter level="INFO" onMatch="DENY" onMismatch="NEUTRAL"/>

            </Filters>
            <PatternLayout pattern="${PATTERN}" charset="UTF-8"/>
            <Policies>
                <TimeBasedTriggeringPolicy/>
                <SizeBasedTriggeringPolicy size="${ROLLING_LOG_SIZE}"/>
            </Policies>
            <!--归档文件设置-->
            <DefaultRolloverStrategy max="${ROLLING_LOG_MAX_NUM}">
                <Delete basePath="${LOG_DIR}" maxDepth="1">
                    <IfFileName glob="debug.*.log"/>
                    <IfLastModified age="${ROLLING_LOG_AGE}"/>
                </Delete>
            </DefaultRolloverStrategy>
        </RollingFile>

        <RollingFile name="RollingFileInfo" fileName="${LOG_DIR}/info.log"
                     filePattern="${LOG_DIR}/info-%d{yyyy-MM-dd}-%i.log">
            <Filters>
                <ThresholdFilter level="INFO"/>
                <ThresholdFilter level="WARN" onMatch="DENY" onMismatch="NEUTRAL"/>
            </Filters>
            <PatternLayout pattern="${PATTERN}" charset="UTF-8"/>
            <Policies>
                <TimeBasedTriggeringPolicy/>
                <SizeBasedTriggeringPolicy size="${ROLLING_LOG_SIZE}"/>
            </Policies>
            <!--归档文件设置-->
            <DefaultRolloverStrategy max="${ROLLING_LOG_MAX_NUM}">
                <Delete basePath="${LOG_DIR}" maxDepth="1">
                    <IfFileName glob="info.*.log"/>
                    <IfLastModified age="${ROLLING_LOG_AGE}"/>
                </Delete>
            </DefaultRolloverStrategy>
        </RollingFile>

        <RollingFile name="RollingFileWarn" fileName="${LOG_DIR}/warn.log"
                     filePattern="${LOG_DIR}/warn-%d{yyyy-MM-dd}-%i.log">
            <Filters>
                <ThresholdFilter level="WARN"/>
                <ThresholdFilter level="ERROR" onMatch="DENY" onMismatch="NEUTRAL"/>
            </Filters>
            <PatternLayout pattern="${PATTERN}" charset="UTF-8"/>
            <Policies>
                <TimeBasedTriggeringPolicy/>
                <SizeBasedTriggeringPolicy size="${ROLLING_LOG_SIZE}"/>
            </Policies>
            <!--归档文件设置-->
            <DefaultRolloverStrategy max="${ROLLING_LOG_MAX_NUM}">
                <Delete basePath="${LOG_DIR}" maxDepth="1">
                    <IfFileName glob="warn.*.log"/>
                    <IfLastModified age="${ROLLING_LOG_AGE}"/>
                </Delete>
            </DefaultRolloverStrategy>
        </RollingFile>

        <RollingFile name="RollingFileError" fileName="${LOG_DIR}/error.log"
                     filePattern="${LOG_DIR}/error-%d{yyyy-MM-dd}-%i.log">
            <Filters>
                <ThresholdFilter level="ERROR" onMatch="ACCEPT" onMismatch="DENY"/>
            </Filters>
            <PatternLayout pattern="${PATTERN}" charset="UTF-8"/>
            <Policies>
                <TimeBasedTriggeringPolicy/>
                <SizeBasedTriggeringPolicy size="${ROLLING_LOG_SIZE}"/>
            </Policies>
            <!--归档文件设置-->
            <DefaultRolloverStrategy max="${ROLLING_LOG_MAX_NUM}">
                <Delete basePath="${LOG_DIR}" maxDepth="1">
                    <IfFileName glob="error.*.log"/>
                    <IfLastModified age="${ROLLING_LOG_AGE}"/>
                </Delete>
            </DefaultRolloverStrategy>
        </RollingFile>

    </appenders>

    <loggers>
        <!--过滤掉spring和hibernate的一些无用的debug信息-->
        <logger name="org.springframework" level="INFO" includeLocation="true" additivity="false"/>
        <logger name="org.hibernate" level="INFO" includeLocation="true" additivity="false"/>
        <logger name="com.netflix" level="WARN" includeLocation="true" additivity="false"/>
        <logger name="io.netty" level="INFO" includeLocation="true" additivity="false"/>
        <logger name="io.lettuce" level="WARN" includeLocation="true" additivity="false"/>
        <logger name="org.apache" level="INFO" includeLocation="true" additivity="false"/>
        <logger name="org.apache.kafka.clients.consumer" level="WARN" includeLocation="true" additivity="false"/>
        <logger name="org.springframework.kafka.listener" level="WARN" includeLocation="true" additivity="false"/>
        <logger name="cn.com.jit.assp.css.client.communication.RequestClient" level="WARN" includeLocation="true" additivity="false"/>
        <root level="info" includeLocation="true" additivity="false">
            <appender-ref ref="Console"/>
            <!-- tbox过滤 -->
            <TboxLogFilter enable="true" onMatch="NEUTRAL" onMismatch="DENY"/>
            <appender-ref ref="RollingFileDebug"/>
            <appender-ref ref="RollingFileInfo"/>
            <appender-ref ref="RollingFileWarn"/>
            <appender-ref ref="RollingFileError"/>
        </root>
    </loggers>
</configuration>

关键是下面一行的使用，enable=true的时候功能功能，onMatch的时候放行，onMismatch则直接丢弃这条日志。

<TboxLogFilter enable="true" onMatch="NEUTRAL" onMismatch="DENY"/>
log4j2(二) 自定义filter-ThreadFilter根据线程名过滤日志
sweetyi的专栏
02-28 3339
背景 项目最新接入了一个sdk，但是这个SDK打印了很多无关紧要的DEBUG日志，造成了严重的信息干扰，现在想去掉这个SDK中指定线程的DEBUG日志 解决方案 使用Log4j2的插件扩展功能自定义一个插件-ThreadFilter, 参考链接中的Filter部分 代码示例 Java代码 package com.test.filter; import org.apache.commons.lan...
log4j2自定义过滤器_Log4j级别示例–订单，优先级，自定义过滤器
从零开始的教程世界
07-07 1448
log4j2自定义过滤器If you have used log4j, you will notice that there are many methods to log messages. For example: 如果您使用过log4j，则会注意到有许多记录消息的方法。 例如： logger.trace("My Log message"); logger.debug("My Log mes...
Log4j2自定义过滤器
很多时候犯错都是在不知情的情况下发生的
08-01 2035
使用druid数据源可以把所有执行的sql都打印出来，在log4j2中加入以下logger即可 <Logger name="druid.sql.Statement" level="debug"/> <Logger name="druid.sql.ResultSet" level="debug"/> 然而，集成quartz分布式版后，quartz在后台定时不断的执行sql，这些sql也通过log4j2不停的打印出来，不断刷屏。 这些sql日志不是我需要的，我不想记录它...
Log4j2原理及应用详解（四）
最新发布
凛鼕将至的博客
07-16 1329
​ 随着Logback的兴起，Log4j开始式微。为了应对这一挑战，Apache软件基金会决定开发Log4j的继任者——Log4j2。Log4j2不仅改进了Log4j的缺点，还借鉴了Logback的许多优点，号称在性能上完胜Logback。 本文将跟随《Log4j2原理及应用详解（三）》的进度，继续介绍Log4j2。希望通过本系列文章的学习，您将能够更好地理解Log4j2的内部工作原理，掌握Log4j2的使用技巧，以及通过合理的设计完成最佳实践，充分发挥优化Log4j2的潜力，为系统
Log4j2的Filters配置详解
张紫娃的博客
03-31 2924
日志共有8个级别，日志级别以及优先级排序: OFF > FATAL > ERROR > WARN > INFO > DEBUG > TRACE > ALL。Filter （过滤器）可以通过ACCEPT（接受）DENY（拒绝）or三种设置，来对不同级别的日志进行过滤，
MyBatis
狭路相逢勇者胜
04-20 1383
<br />MyBatisAdded by Donny Lee, last edited by Donny Lee on Feb 21, 2011  (view change)mybatis-springmybatis.xmlmapperLocations can use *<bean id="sqlSessionFactory" class="org.mybatis.spring.SqlSessionFactoryBean"> ... <property name="mapperLocations
log4j2使用filter过滤日志
JustryDeng
11-01 1万+
笔者语录： 近一段时间感情、事业、家庭都挺闹心，感觉走到人生的转折点了；刚开始以为必须有所舍弃才行，直到读了一本时间&精力相关的书后，才明白过来：合理利用时间，未必不可兼顾，加油打工人。 背景说明：   log4j2作为log4j的升级版本，其性能自然是大大优于log4j的，同时其其性能又是优于logback的，甚至在部分领域，log4j2的性能远超logback几个数量级。   log4j2的亮点主要在这几个方法进行体现:异步、并发、配置优化、插件机制等。本文初步学习基于log4j2插件机制的F
Log4j 1.2 使用自定义级别、自定义过滤器、动态路径
Code_M0nkey
04-08 5082
log4j 1.2 自定义级别、自定义过滤器、动态路径
Log4j按级别输出日志到不同文件的实现方法
09-01
Log4j是一个广泛使用的日志记录框架，尤其在Java应用程序中。它允许开发者根据日志级别（如INFO、DEBUG、WARN、ERROR等）控制日志的输出，以便于调试、性能分析和问题追踪。在本文中，我们将详细介绍如何配置Log4j以...
log4j自定义
05-29
log4j自定义
Android下自定义日志框架
10-20
虽然Android系统自带了`Log`类，提供了基本的日志打印功能，但有时我们可能需要更高级的功能，如日志过滤、自定义格式、日志级别控制、日志文件存储等。这就是自定义日志框架的意义所在。下面，我们将深入探讨如何在...
Android下的自定义日志框架。移动开发一般没有必要引入第三方日志框架，可以自己编写
11-12
在Android开发中，自定义日志框架是一种常见的实践，它可以帮助开发者更好地监控应用程序的运行状态，定位和解决问题。本文将详细介绍如何在Android环境下构建自己的日志框架，以及这样做的好处。 首先，Android...
Log4net日志管理框架.pdf
10-22
**日志格式设置**允许用户自定义日志的输出格式。Layout组件负责控制日志的显示样式，可以是线性文本或者XML结构。开发者可以选择记录哪些信息，如时间戳、线程ID、日志级别等，并决定这些信息在日志条目中的排列...
Java Log4j自定义过滤器开发：精准控制日志输出，优化日志质量
[Java Log4j自定义过滤器开发：精准控制日志输出，优化日志质量](https://sematext.com/wp-content/uploads/2021/03/Log4j-2-tutorial-1024x560.jpg) # 1. Java Log4j自定义过滤器概述 在进行日志管理时，Java...
log4j2.properties日志过滤
nanjizhiyin的专栏
06-14 7865
使用properties过滤日志.只打印一种信息# 这个用于设置log4j2自身内部的信息输出,可以不设置,当设置成trace时,会看到log4j2内部各种详细输出 status = error dest = err name = PropertiesConfig #公共变量 #文件路径 property.filePath=logs property.filePattern=logs/%d{yy...
log4j自定义分级过滤日志
u011277123的博客
05-02 2694
陆小凤一笑 2017-05-02 02:04 1.StormLog代码如下 import org.apache.log4j.Level; import org.apache.log4j.Logger; import org.apache.log4j.net.SyslogAppender; public class StormLog { /** * 继承Level */ p
配置log4j屏蔽掉某个类的log日志打印
热门推荐
a18057814637的博客
02-26 3万+
在log4j的配置文件下配置log4j.logger.xxx=errorxxx：表示要屏蔽的类=后面 表示这个类下的日志只打印error级别的
log4j2 对定时异步线程打印的日志进行过滤
li371490890的博客
07-04 345
本次不使用自定义的过滤器，使用ScriptFilter对logevent对象中的线程名称进行过滤。注意：log4j2.19.0在使用scriptFilter时，需要开启scriptManager。开启文件有要求：文件名必须是：log4j2.component.properties。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>