【知识科普】简单聊聊日志脱敏技术

问道飞鱼

于 2024-10-25 23:52:29 发布

阅读量1k

点赞数 27

分类专栏：微服务相关技术 Java开发技术文章标签： logback log4j 日志脱敏

本文链接：https://blog.csdn.net/wendao76/article/details/143054450

版权

Java开发技术同时被 2 个专栏收录

46 篇文章 1 订阅

订阅专栏

微服务相关技术

42 篇文章 0 订阅

订阅专栏

文章目录

日志脱敏

日志脱敏是指在日志记录中，将敏感信息（如用户姓名、身份证号、手机号、邮箱、银行卡号、密码等）进行处理，以避免敏感数据泄露的风险。这是一个重要的安全措施，尤其是在金融、医疗和电子商务等领域。以下是实现日志脱敏的一些常见方法：

掩码处理：对敏感信息进行部分遮盖，例如将手机号的中间四位替换为星号****。
哈希处理：使用哈希算法对敏感信息进行加密，使其在日志中以哈希值的形式出现。
替换规则：定义一系列的替换规则，将特定的敏感信息模式替换为脱敏后的值。
正则表达式：使用正则表达式来识别和脱敏敏感信息。
自定义脱敏策略：开发自定义的脱敏策略，例如，可以基于数据的类型（如邮箱、手机号等）来应用不同的脱敏规则。
使用第三方库：使用专门的日志脱敏库，如Java中的sensitive项目，它提供了基于注解的日志脱敏方式，并支持Logback和Log4j2的插件。
日志框架支持：一些日志框架，如Logback和Log4j2，提供了内置的脱敏支持或插件。
编程脱敏：在代码中实现脱敏逻辑，例如，在记录日志之前对参数进行脱敏处理。
日志脱敏工具：使用日志脱敏工具，如log4j2-sensitive-data-filter，它提供了基于Log4j2的统一脱敏策略。
配置文件脱敏：在日志配置文件中定义脱敏规则，例如，在Logback的配置文件中使用<conversionRule>标签定义脱敏转换器。

在实际操作中，可以根据具体的业务需求和技术栈选择合适的脱敏方法。例如，如果使用Logback，可以通过以下方式实现脱敏：

定义脱敏转换器：

<conversionRule conversionWord="sensitive" converterClass="com.example.SensitiveDataConverter" />

然后在日志模式中使用%sensitive来引用脱敏后的数据。

使用第三方脱敏插件：
在Maven项目中添加相应的依赖，并按照插件的文档配置脱敏规则。
自定义Appender：
创建一个继承自ConsoleAppender或FileAppender的自定义Appender，在其中实现脱敏逻辑。

日志脱敏是一个需要持续关注和维护的过程，随着业务的发展和数据类型的增加，脱敏规则可能需要不断更新和优化。此外，脱敏处理应该在日志生成的早期阶段进行，以确保所有日志输出都符合安全要求。

log4j2日志脱敏

在Log4j中实现日志脱敏，可以通过以下几种方式：

使用Log4j2的RewriteAppender：
Log4j2提供了RewriteAppender，允许开发者实现自定义的RewritePolicy，对日志事件进行重写。例如，可以创建一个自定义的RewritePolicy来脱敏日志中的数据。通过实现RewritePolicy接口的rewrite方法，可以在日志输出前对敏感信息进行脱敏处理。例如，可以对包含敏感数据的日志进行脱敏处理，如身份证号、手机号等。配置示例如下：
```
<Rewrite name="rewrite">
    <DataMaskingRewritePolicy />
    <AppenderRef ref="Console" />
</Rewrite>
```
其中DataMaskingRewritePolicy是自定义的脱敏策略类。这种方法的好处是可以在日志输出前对日志内容进行处理，而不需要修改业务代码。
使用正则表达式过滤器：
Log4j2允许配置过滤器（Filters）来决定哪些日志应该被记录。可以配置一个正则表达式过滤器（RegexFilter）来匹配并脱敏敏感信息。例如，可以配置一个过滤器来匹配身份证号码的模式，并将其替换为脱敏后的字符串。配置示例如下：
```
<Console name="Console" target="SYSTEM_OUT">
    <PatternLayout pattern="%d{yyyy-MM-dd HH:mm:ss} %-5level %logger{36} - %msg%n"/>
    <Filters>
        <Filter type="SensitiveDataFilter" item="身份证号码" regex="匹配正则表达式" replacement="脱敏后的字符串"/>
    </Filters>
</Console>
```
这种方法简单易用，但可能不适合复杂的脱敏规则，且可能会有性能上的考虑。
使用ScriptFilter：
ScriptFilter是一种灵活的过滤器，允许使用脚本语言（如Groovy）来处理日志事件。可以编写一个脚本，根据业务逻辑来脱敏日志中的数据。这种方法非常灵活，但需要一定的脚本编写能力。
使用第三方脱敏插件：
存在一些第三方的脱敏插件，如log4j2-sensitive-data-filter，这些插件提供了开箱即用的脱敏功能，可以很容易地集成到Log4j2的配置中。这些插件通常提供了丰富的脱敏规则和高性能的实现。
自定义脱敏策略：
可以自定义脱敏策略，例如，实现MaskSensitiveDataPolicy类，该类实现了RewritePolicy接口。在rewrite方法中，可以检查日志事件中是否包含敏感信息，并对其进行脱敏处理。这种方法提供了最大的灵活性，允许开发者根据具体需求实现脱敏逻辑。

选择哪种方法取决于具体的业务需求、脱敏规则的复杂性以及对性能的考虑。在实现日志脱敏时，应该确保脱敏过程不会对应用程序的性能产生负面影响，并且要确保脱敏规则的准确性，以避免敏感信息泄露。

实现范例

在Log4j2中实现日志脱敏，可以通过使用RewriteAppender和自定义的RewritePolicy来完成。以下是一个简单的示例，展示了如何实现日志脱敏：

定义脱敏策略：创建一个自定义的RewritePolicy，用于定义脱敏规则。例如，可以创建一个策略来脱敏手机号、邮箱等敏感信息。

import org.apache.logging.log4j.core.LogEvent;
import org.apache.logging.log4j.core.appender.rewrite.RewritePolicy;
import org.apache.logging.log4j.core.config.plugins.Plugin;

@Plugin(name = "DataMaskingRewritePolicy", category = "Core", elementType = "rewritePolicy")
public class DataMaskingRewritePolicy implements RewritePolicy {
    @Override
    public LogEvent rewrite(LogEvent event) {
        // 这里添加脱敏逻辑，例如使用正则表达式匹配并脱敏敏感信息
        // 返回脱敏后的LogEvent
        return event;
    }
}

配置Log4j2使用自定义的脱敏策略：在Log4j2的配置文件中，添加RewriteAppender并引用自定义的脱敏策略。

<Configuration status="WARN">
    <Appenders>
        <Console name="Console" target="SYSTEM_OUT">
            <Rewrite>
                <DataMaskingRewritePolicy />
            </Rewrite>
            <PatternLayout pattern="%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n" />
        </Console>
    </Appenders>
    <Loggers>
        <Root level="debug">
            <AppenderRef ref="Console" />
        </Root>
    </Loggers>
</Configuration>

测试脱敏效果：在应用代码中记录日志，并检查输出的日志内容是否符合预期的脱敏效果。

import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.Logger;

public class LogTest {
    private static final Logger logger = LogManager.getLogger(LogTest.class);

    public static void main(String[] args) {
        logger.info("Sensitive information: mobile: 13012345678, email: test@example.com");
    }
}

在上述示例中，DataMaskingRewritePolicy是一个示例类，你需要根据实际需求实现脱敏逻辑。在配置文件中，通过<Rewrite>标签引用自定义的脱敏策略，并将其应用于控制台输出。

此外，还可以使用现成的脱敏插件，如sensitive-log4j2，它支持基于注解的方式进行日志脱敏，并且提供了灵活的配置选项。使用时，只需在项目的pom.xml中添加相应的依赖，并在Log4j2的配置文件中进行简单的配置即可实现统一的日志脱敏。

请注意，具体的脱敏规则和实现可能需要根据你的业务需求和数据敏感性进行定制。上述示例仅提供了一个基本的框架，实际应用时可能需要更复杂的处理逻辑。

logback日志脱敏

在Logback中实现日志脱敏，可以通过以下几种方式：

使用Logback的Converter
可以自定义一个Converter类来实现脱敏逻辑。例如，可以创建一个SensitiveDataConverter类，继承自MessageConverter，在convert方法中实现脱敏逻辑。然后在Logback的配置文件中使用这个Converter。这种方法需要修改配置文件，但不需要改动业务代码。
使用第三方脱敏插件
例如，sensitive项目提供了基于注解的日志脱敏方式，并且支持Logback和Log4j2的插件。这个项目提供了一个高性能的日志脱敏组件，可以很容易地集成到Logback的配置中。它还支持自定义脱敏策略和注解，以及基于FastJSON生成脱敏后的JSON。
自定义Appender
可以创建一个自定义的Appender，例如SensitiveConsoleAppender，继承自ConsoleAppender，在subAppend方法中实现脱敏逻辑。这种方法可以在日志输出之前对日志信息进行脱敏处理。
使用Filter实现脱敏
可以在Logback配置文件中定义一个Filter，用于检查日志消息中是否包含敏感信息，并进行脱敏处理。这种方法可以在日志消息被处理之前进行脱敏，但它可能不如Converter或Appender方法灵活。
使用脱敏配置文件
有些脱敏插件允许通过配置文件来定义脱敏规则，这样可以在不修改代码的情况下实现脱敏。例如，logback-desensitize.yml配置文件可以用来定义脱敏规则，如邮箱、手机号、身份证号等的脱敏模式。
使用正则表达式脱敏
可以在Logback配置中使用正则表达式来匹配和脱敏敏感信息。这种方法适合于已知敏感信息的格式，并且可以通过正则表达式来识别和脱敏。
使用Logback的Layout
可以定义一个自定义的Layout，例如SensitiveLogbackLayout，在其中实现脱敏逻辑。这种方法可以在日志消息被格式化为字符串之前进行脱敏处理。

每种方法都有其适用场景和优缺点。选择哪种方法取决于具体的业务需求、脱敏规则的复杂性以及对性能的考虑。在实现日志脱敏时，应该确保脱敏过程不会对应用程序的性能产生负面影响，并且要确保脱敏规则的准确性，以避免敏感信息泄露。

实现范例

在Logback中实现日志脱敏，可以通过使用第三方脱敏插件或自定义脱敏规则来完成。以下是一个简单的示例，展示了如何使用第三方插件sensitive-logback来实现日志脱敏：

引入依赖：首先，需要在项目的pom.xml文件中添加sensitive-logback的依赖。
```
<dependency>
    <groupId>com.github.houbb</groupId>
    <artifactId>sensitive-logback</artifactId>
    <version>1.7.0</version>
</dependency>
```
这个插件支持基于注解的方式进行日志脱敏，并且内置了常见的脱敏方式，便于开发。

配置Logback：在Logback的配置文件中，添加转换规则（conversionRule）来使用sensitive-logback提供的脱敏转换器。

<configuration>
    <conversionRule conversionWord="sensitive" converterClass="com.github.houbb.sensitive.logback.converter.SensitiveLogbackConverter" />
    <appender name="STDOUTConverter" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %sensitive%n</pattern>
        </encoder>
    </appender>
    <root level="DEBUG">
        <appender-ref ref="STDOUTConverter"/>
    </root>
</configuration>

这里使用了SensitiveLogbackConverter来脱敏日志内容。

测试脱敏效果：在应用代码中记录日志，并检查输出的日志内容是否符合预期的脱敏效果。

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

public class LogTest {
    private static final Logger logger = LoggerFactory.getLogger(LogTest.class);

    public static void main(String[] args) {
        logger.info("Sensitive information: mobile: 13012345678, email: test@example.com");
    }
}