利用log42框架自定义日志过滤

最新推荐文章于 2024-05-10 19:55:50 发布
最新推荐文章于 2024-05-10 19:55:50 发布
阅读量1.5k 收藏 1
点赞数
分类专栏： java 文章标签： log4j 自定义日志过滤
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SSAA123LJIO1/article/details/130422784
版权

任务背景：

车联网业务TSP网关打印的日志接入es数据量过大，每小时基本有上亿条日志，快扛不住了。
本着降本增效的原则，需要实现tbox白名单日志打印功能。

框架选择

  • logback
  • log4j2

日志框架的选择网上已经有很多文章，我是参考了如下几篇文章，加上程序中原有框架也是log4j2，所以想着继续延用并在其基础上优化吧。

纠结哇！日志框架选型，Logback 还是 Log4j2？ 转载

Logback与Log4j2日志框架性能对比与调优

Logback 对比 Log4j2

功能设计

  1. 程序启动时候加载数据库tbox白名单数据到程序内缓存，
  2. tbox白名单CRUD，数据库使用mysql，
  3. 每天凌晨定时刷新程序内白名单缓存，
  4. 对数据库tbox白名单做CRUD的时候，实时更新各分布式节点程序的缓存，
  5. 自定义日志过滤拦截器，

前面两点没啥好说的。
第三点是通过redis发布订阅实现的。每次对tbox白名单进行crud的时候向redis的channel “tbox_white_info” 发送一条指令数据，{“refresh”:“true”}，代表需要刷新缓存了。网关程序订阅这个channel，有收到数据就进行刷新缓存的操作。这样就可以同步更新多个分布式订阅节点的数据了。

自定义日志拦截

接下来就是重点了，如何实现自定义log42的日志拦截器。有如下几个步骤
1、继承AbstractFilter
2、使用工厂模式创建你的Filter对象
3、重写filter方法，实现你的业务逻辑
4、定义注解，可以在log4j2.xml中使用

@Plugin(name = "TboxLogFilter", category = Node.CATEGORY, elementType = Filter.ELEMENT_TYPE, printObject = true)
@Slf4j
public class TboxLogFilter extends AbstractFilter {

	private Result onMatch;
	private Result onMisMatch;

	//是否启用白名单日志打印功能
	private Boolean enable = false;

	public TboxLogFilter(boolean enable, Result onMatch, Result onMismatch) {
		super();
		this.enable = enable;
		if(!enable){
			log.info("白名单日志打印功能未启用。");
		}else {
			log.info("白名单日志打印功能开始启用。");
		}
		this.onMatch = onMatch;
		this.onMisMatch = onMismatch;
	}

	//业务
	@Override
	public Result filter(LogEvent event) {
		if(!enable){
			//未开启功能
			return this.onMatch;
		}
		String log = event.getMessage().toString();
		if(!StringUtils.containsIgnoreCase(log,"tbox")
				&& !StringUtils.containsIgnoreCase(log,"tboxsn")
				&& !StringUtils.containsIgnoreCase(log,"sn")){
			//不包含tbox，sn，tboxsn关键字
			return this.onMatch;
		}
		if(GlobalSessionChannel.enableLog(log)){
			return this.onMatch;
		}
		return this.onMisMatch;
	}

	@PluginFactory
	public static TboxLogFilter createFilter(@PluginAttribute("enable") String enable,
	                                        @PluginAttribute("onMatch") final Result match,
	                                        @PluginAttribute("onMismatch") final Result mismatch) {
		assert StringUtils.isNotBlank(enable);
		final Result onMatch = match == null ? Result.NEUTRAL : match;
		final Result onMismatch = mismatch == null ? Result.DENY : mismatch;
		Boolean bo = Boolean.valueOf(enable);
		return new TboxLogFilter(bo , onMatch, onMismatch);
	}

	@Override
	public Result filter(Logger logger, Level level, Marker marker, Object msg, Throwable t) {
		return super.filter(logger, level, marker, msg, t);
	}
}

我这里对这个tbox白名单日志打印过滤功能留了个总开关，方便全局开启和关闭。
同时在过滤逻辑上做了优化，只有当日志中包含关键字“tbox”、“sn”，“tboxsn”（忽略大小写）的时候才会进入是否过滤的判定环节。

接下来是xml的配置了，有需要的同学可以直接使用。

<?xml version="1.0" encoding="UTF-8"?>
<!--设置log4j2的自身log级别为warn-->
<configuration status="warn">
    <Properties>
        <!--<property name="LOG_DIR" value="/opt/log/gateway" />-->
        <property name="LOG_DIR" value="${sys:user.dir}/logs" />
        <property name="PATTERN" value="[%d{yyyy-MM-dd HH:mm:ss.SSS}] [%p] -%t -%c:%L - %m%n" />
        <property name="ROLLING_LOG_SIZE" value="50 MB" />
        <property name="ROLLING_LOG_MAX_NUM" value="10" />
        <property name="ROLLING_LOG_AGE" value="7D" />
    </Properties>

    <appenders>
        <console name="Console" target="SYSTEM_OUT">
            <PatternLayout pattern="${PATTERN}" charset="UTF-8"/>
        </console>

		<RollingFile name="RollingFileDebug" fileName="${LOG_DIR}/debug.log"
                     filePattern="${LOG_DIR}/debug-%d{yyyy-MM-dd}-%i.log">
            <Filters>
                <ThresholdFilter level="DEBUG"/>
                <ThresholdFilter level="INFO" onMatch="DENY" onMismatch="NEUTRAL"/>

            </Filters>
            <PatternLayout pattern="${PATTERN}" charset="UTF-8"/>
            <Policies>
                <TimeBasedTriggeringPolicy/>
                <SizeBasedTriggeringPolicy size="${ROLLING_LOG_SIZE}"/>
            </Policies>
            <!--归档文件设置-->
            <DefaultRolloverStrategy max="${ROLLING_LOG_MAX_NUM}">
                <Delete basePath="${LOG_DIR}" maxDepth="1">
                    <IfFileName glob="debug.*.log"/>
                    <IfLastModified age="${ROLLING_LOG_AGE}"/>
                </Delete>
            </DefaultRolloverStrategy>
        </RollingFile>

        <RollingFile name="RollingFileInfo" fileName="${LOG_DIR}/info.log"
                     filePattern="${LOG_DIR}/info-%d{yyyy-MM-dd}-%i.log">
            <Filters>
                <ThresholdFilter level="INFO"/>
                <ThresholdFilter level="WARN" onMatch="DENY" onMismatch="NEUTRAL"/>
            </Filters>
            <PatternLayout pattern="${PATTERN}" charset="UTF-8"/>
            <Policies>
                <TimeBasedTriggeringPolicy/>
                <SizeBasedTriggeringPolicy size="${ROLLING_LOG_SIZE}"/>
            </Policies>
            <!--归档文件设置-->
            <DefaultRolloverStrategy max="${ROLLING_LOG_MAX_NUM}">
                <Delete basePath="${LOG_DIR}" maxDepth="1">
                    <IfFileName glob="info.*.log"/>
                    <IfLastModified age="${ROLLING_LOG_AGE}"/>
                </Delete>
            </DefaultRolloverStrategy>
        </RollingFile>

        <RollingFile name="RollingFileWarn" fileName="${LOG_DIR}/warn.log"
                     filePattern="${LOG_DIR}/warn-%d{yyyy-MM-dd}-%i.log">
            <Filters>
                <ThresholdFilter level="WARN"/>
                <ThresholdFilter level="ERROR" onMatch="DENY" onMismatch="NEUTRAL"/>
            </Filters>
            <PatternLayout pattern="${PATTERN}" charset="UTF-8"/>
            <Policies>
                <TimeBasedTriggeringPolicy/>
                <SizeBasedTriggeringPolicy size="${ROLLING_LOG_SIZE}"/>
            </Policies>
            <!--归档文件设置-->
            <DefaultRolloverStrategy max="${ROLLING_LOG_MAX_NUM}">
                <Delete basePath="${LOG_DIR}" maxDepth="1">
                    <IfFileName glob="warn.*.log"/>
                    <IfLastModified age="${ROLLING_LOG_AGE}"/>
                </Delete>
            </DefaultRolloverStrategy>
        </RollingFile>

        <RollingFile name="RollingFileError" fileName="${LOG_DIR}/error.log"
                     filePattern="${LOG_DIR}/error-%d{yyyy-MM-dd}-%i.log">
            <Filters>
                <ThresholdFilter level="ERROR" onMatch="ACCEPT" onMismatch="DENY"/>
            </Filters>
            <PatternLayout pattern="${PATTERN}" charset="UTF-8"/>
            <Policies>
                <TimeBasedTriggeringPolicy/>
                <SizeBasedTriggeringPolicy size="${ROLLING_LOG_SIZE}"/>
            </Policies>
            <!--归档文件设置-->
            <DefaultRolloverStrategy max="${ROLLING_LOG_MAX_NUM}">
                <Delete basePath="${LOG_DIR}" maxDepth="1">
                    <IfFileName glob="error.*.log"/>
                    <IfLastModified age="${ROLLING_LOG_AGE}"/>
                </Delete>
            </DefaultRolloverStrategy>
        </RollingFile>

    </appenders>

    <loggers>
        <!--过滤掉spring和hibernate的一些无用的debug信息-->
        <logger name="org.springframework" level="INFO" includeLocation="true" additivity="false"/>
        <logger name="org.hibernate" level="INFO" includeLocation="true" additivity="false"/>
        <logger name="com.netflix" level="WARN" includeLocation="true" additivity="false"/>
        <logger name="io.netty" level="INFO" includeLocation="true" additivity="false"/>
        <logger name="io.lettuce" level="WARN" includeLocation="true" additivity="false"/>
        <logger name="org.apache" level="INFO" includeLocation="true" additivity="false"/>
        <logger name="org.apache.kafka.clients.consumer" level="WARN" includeLocation="true" additivity="false"/>
        <logger name="org.springframework.kafka.listener" level="WARN" includeLocation="true" additivity="false"/>
        <logger name="cn.com.jit.assp.css.client.communication.RequestClient" level="WARN" includeLocation="true" additivity="false"/>
        <root level="info" includeLocation="true" additivity="false">
            <appender-ref ref="Console"/>
            <!-- tbox过滤 -->
            <TboxLogFilter enable="true" onMatch="NEUTRAL" onMismatch="DENY"/>
            <appender-ref ref="RollingFileDebug"/>
            <appender-ref ref="RollingFileInfo"/>
            <appender-ref ref="RollingFileWarn"/>
            <appender-ref ref="RollingFileError"/>
        </root>
    </loggers>
</configuration>

关键是下面一行的使用，enable=true的时候功能功能，onMatch的时候放行，onMismatch则直接丢弃这条日志。

<TboxLogFilter enable="true" onMatch="NEUTRAL" onMismatch="DENY"/>
小蔡童靴
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
log4j2(二) 自定义filter-ThreadFilter根据线程名过滤日志
sweetyi的专栏
02-28 3204
背景 项目最新接入了一个sdk，但是这个SDK打印了很多无关紧要的DEBUG日志，造成了严重的信息干扰，现在想去掉这个SDK中指定线程的DEBUG日志 解决方案 使用Log4j2的插件扩展功能自定义一个插件-ThreadFilter, 参考链接中的Filter部分 代码示例 Java代码 package com.test.filter; import org.apache.commons.lan...
【log4j2日志框架】敏感字符过滤
weixin_36142042的博客
10-21 2661
0、背景 zookeeper服务端所使用的日志框架被我替换为了log4j2，zk的sessionid又被负责安全的大佬评估为敏感信息，不能直接打印，所以要想一个在不修改源码的情况快速解决sessionid打印屏蔽的办法。 1、log4j2的replace功能 很多日志框架都有过滤替换的功能，log4j2也不例外，支持正则替换。 先看zk的sessionid生成方法 sessionid高位为服务id，中间为时间戳，低位为递增序列，最大值为Long的最大值。 log4j2.properties的pattern
【第17章】spring-mvc之日志和拦截器
最新发布
zjg
05-10 765
【第2章】整合log4j2框架在前面的spring中已经完成了对日志框架log4j的整合，这里我们直接拿过来用就行。场景描述：每个接口请求过来的时候，我们需要记录下请求报文和响应报文作为日志留痕或者提供给日志系统来做下一步处理的依据。回到顶部特性过滤器（Filter）拦截器（Interceptor）触发时机1. 请求进入容器后，但在请求进入Servlet之前进行预处理。1. 在请求到达Controller之前或响应返回视图之前进行拦截。依赖。
Log4j2自定义过滤器
很多时候犯错都是在不知情的情况下发生的
08-01 1809
使用druid数据源可以把所有执行的sql都打印出来，在log4j2中加入以下logger即可 <Logger name="druid.sql.Statement" level="debug"/> <Logger name="druid.sql.ResultSet" level="debug"/> 然而，集成quartz分布式版后，quartz在后台定时不断的执行sql，这些sql也通过log4j2不停的打印出来，不断刷屏。 这些sql日志不是我需要的，我不想记录它...
MyBatis
狭路相逢勇者胜
04-20 1332
<br />MyBatisAdded by Donny Lee, last edited by Donny Lee on Feb 21, 2011  (view change)mybatis-springmybatis.xmlmapperLocations can use *<bean id="sqlSessionFactory" class="org.mybatis.spring.SqlSessionFactoryBean"> ... <property name="mapperLocations
log4j2使用filter过滤日志
热门推荐
JustryDeng
11-01 1万+
笔者语录： 近一段时间感情、事业、家庭都挺闹心，感觉走到人生的转折点了；刚开始以为必须有所舍弃才行，直到读了一本时间&精力相关的书后，才明白过来：合理利用时间，未必不可兼顾，加油打工人。 背景说明：   log4j2作为log4j的升级版本，其性能自然是大大优于log4j的，同时其其性能又是优于logback的，甚至在部分领域，log4j2的性能远超logback几个数量级。   log4j2的亮点主要在这几个方法进行体现:异步、并发、配置优化、插件机制等。本文初步学习基于log4j2插件机制的F
Log4net日志管理框架.pdf
10-22
**日志格式设置**允许用户自定义日志的输出格式。Layout组件负责控制日志的显示样式，可以是线性文本或者XML结构。开发者可以选择记录哪些信息，如时间戳、线程ID、日志级别等，并决定这些信息在日志条目中的排列...
Android下自定义日志框架
10-20
虽然Android系统自带了`Log`类，提供了基本的日志打印功能，但有时我们可能需要更高级的功能，如日志过滤、自定义格式、日志级别控制、日志文件存储等。这就是自定义日志框架的意义所在。下面，我们将深入探讨如何在...
Log4j按级别输出日志到不同文件的实现方法
09-01
Log4j是一个广泛使用的日志记录框架，尤其在Java应用程序中。它允许开发者根据日志级别（如INFO、DEBUG、WARN、ERROR等）控制日志的输出，以便于调试、性能分析和问题追踪。在本文中，我们将详细介绍如何配置Log4j以...
基于QT的Log4Qt日志框架
08-20
**基于QT的Log4Qt日志框架详解** 在软件开发中，日志记录是一个至关重要的环节，它能够帮助开发者追踪程序运行状态、定位错误和调试问题。Log4Qt 是一个专为 Qt 开发者设计的日志框架，它源于 Apache 的著名日志...
log4j自定义
05-29
log4j自定义
javaFilter自定义编码过滤器
10-18
javaFilter自定义编码过滤器，防止中文乱码.
java自定义filter过滤特定请求并记录日志
03-09
自定义过滤器，过滤请求接口的请求，认证用户并记录日志
日志框架commons-logging和Log4j应用
06-09
此外，它的配置文件（通常为log4j.properties或log4j.xml）允许开发者轻松地控制日志的行为，如设置过滤器、指定输出位置和级别。 日志框架的基本应用包括以下几个方面： 1. **初始化配置**：对于Log4j，这通常...
log4j2自定义过滤器_Log4j级别示例–订单，优先级，自定义过滤器
从零开始的教程世界
07-07 1379
log4j2自定义过滤器If you have used log4j, you will notice that there are many methods to log messages. For example: 如果您使用过log4j，则会注意到有许多记录消息的方法。 例如： logger.trace("My Log message"); logger.debug("My Log mes...
Log4j2的Filters配置详解
张紫娃的博客
03-31 1992
日志共有8个级别，日志级别以及优先级排序: OFF > FATAL > ERROR > WARN > INFO > DEBUG > TRACE > ALL。Filter （过滤器）可以通过ACCEPT（接受）DENY（拒绝）or三种设置，来对不同级别的日志进行过滤，
log4j2之filter
Mr_moving
06-09 1050
概述 在平时的开发过程中，我们一般都会选择将将日志级别设定为DEBUG甚至更低，这样当出现问题时可以知晓更多，更详细的信息，方便问题的排查；但万事有利必有弊，详细也意味着繁琐，大量嘈杂的日志信息可能会将你真正关注的日志内容淹没掉，加大查找难度。因此最近同事提出了一个动态筛选日志信息的优化需求让我十分感兴趣。 思考 类似的需求，最容易想到的简单方法就是在进行日志输出时，谨慎选择甚至自定义日志级别，但是考虑到框架里的日志级别不受控制，随意自定义日志级别徒劳增加开发人员的记忆负担等等缺陷，这个想法在出现的..
Log4j 1.2 使用自定义级别、自定义过滤器、动态路径
Code_M0nkey
04-08 5012
log4j 1.2 自定义级别、自定义过滤器、动态路径
Log4net日志管理框架详解：分级、配置与扩展功能
再者，Log4net允许用户自定义日志格式，通过Layouts控制输出的结构和内容。这包括线性或XML树状结构的选择，以及确定每个日志事件应包含哪些参数以及它们的显示顺序，确保了日志信息的清晰性和一致性。 此外，框架...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值