一种配置化的数据脱敏与反脱敏框架实现 | 京东云技术团队

于 2023-07-26 14:17:53 发布
阅读量231 收藏
点赞数
分类专栏： 技术分享 安全 文章标签： 京东云 java jvm 数据脱敏 Tony
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jdcdev_/article/details/131938192
版权

1.tony框架背景

  • 在业务量日益剧增的背景下，大量数据在各种业务活动中产生，数据安全控制一直是治理的重要环节，数据脱敏属于安全控制的范畴。对互联网公司来说，数据安全一直是极为重视和敏感的话题。数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。涉及客户安全数据或者一些商业性敏感数据，如身份证号、手机号、卡号、客户号等个人信息按照相关部门规定，都需要进行数据脱敏。

  • 在现有的微服务技术架构背景下，敏感数据的使用存在如下痛点：

    • 敏感数据与PC、APP客户端使用明文数据交互，数据安全无法保证。

    • 敏感数据浏览缺乏监控，无法针对性的做数据治理。

    • 微服务架构系统应用多而杂，期望引入一套通用的方案统一解决敏感数据安全问题。

基于以上痛点，tony提供了一套完整、安全、透明化、低改造成本的数据脱敏整合解决方案。

2.tony框架简介

Tony是一款敏感数据脱敏与浏览记录监控工具，可对系统中的敏感信息进行脱敏处理，并在泄漏时提供追溯依据，为企业数据共享、迁移、分发提供安全保护措施。该项目基于spring进行开发，提供spring-boot-starter启动包，接入简单，主要实现功能如下：

​灵活的脱敏方案

业务系统的数据千变万化，为确保所有业务数据都能够正常进行敏感信息处理，数据脱敏提供高灵活性的自定义脱敏配置。通过丰富多样的脱敏规则定义，敏感数据处理可实现高度契合业务的脱敏处理。

​统一的明文数据管理

框架内置敏感数据对应的明文数据管理流程，将明文数据统一缓存管理，提供统一的明文数据访问api。

​浏览记录留痕

针对不同用户对敏感信息明文数据的浏览动作，接入方可以自定义日志格式模版记录输出到日志文件中，做到每条数据的浏览有迹可循。

​异常浏览量预警

接入方通过自定义脱敏配置可以设置不同场景的敏感浏览明文数据量阈值，开启告警后，当用户访问明文数据次数到达阈值后，会触发预警流程，接入方可自定义预警逻辑。

tony整体架构：

tony-core模块定义了基本的脱敏功能实现，整体流程采用spi机制预留了充分的扩展空间。以tony-core为底座，集成汽车现有技术栈提供了tony-transformers模块对基础的脱敏功能进行了扩展：异步的缓存事件分发，分布式明文数据缓存，对接集团安全部门的敏感日志留痕，异常浏览量的邮件预警。

tony架构图.png

namedesc
MaskAnnotationProcessor业务场景代理，通过注解代理对应的脱敏场景方法。
IMaskProcess数据脱敏处理器
IMaskLogProcessor数据浏览日志处理器
IMaskCacheProcessor明文数据缓存处理器
IMaskLimitProcessor明文数据访问限额管理
IMaskWarningProcessor异常浏览预警处理
IMaskContent上下文信息处理器
IUnMaskProcessor明文数据获取处理器
DefaultUnMaskProcessorAdapter明文数据获取适配器，提供从缓存中获取明文数据功能。
DefaultMaskCacheProcess明文数据缓存处理器，提供分布式缓存功能。
DefaultMaskContent上下文信息处理器，提供ThreadLocal实现。
DefaultMaskWarningProcessor异常浏览预警处理，提供邮件告警实现。
PlaintextProcess明文属于获取接口约束，可自定义明文数据获取的扩展。
MaskMonitorCacheHandle缓存时间消费，异步消费缓存事件，存储明文数据。

tony处理流程详解：

tony和业务代码部署在一起，接入应用通过脱敏场景与脱敏配置项的指定来实现对应业务场景的脱敏代理。业务代码只需配置场景注解即可兼容使用。此时敏感数据的脱敏工作由tony负责，tony会拦截业务场景的响应数据，对敏感信息进行脱敏处理。

tony处理流程详解.png

tony脱敏配置详解：

脱敏配置主要分为四部分：脱敏上下文配置，脱敏场景配置，脱敏预警配置以及日志留痕模版，其详情如下图所示：

tony脱敏配置简介.png

keynamedesc
tony.appName接入系统名称
tony.maskSourceName脱敏白名单控制统一场景的接口对不同调用方进行数据是否脱敏控制
tony.mask.XXX脱敏场景XXX为具体场景的key
tony.mask.XXX.enable动态开关控制是否开启脱敏
tony.mask.XXX.limits明文浏览限额限制明文浏览次数
tony.mask.XXX.cacheKey数据缓存解析规则示例：STATEMENT_BILL_PAGE:${argItem.id}
tony.types.YYY脱敏字段YYY为具体字段的key
tony.types.YYY.regex脱敏规则配置脱敏的正则表达式 示例：(\d{3})\d{4}(\d{4})
tony.types.YYY.replacement脱敏规则配置脱敏的正则表达式 示例：$1****$2
tony.types.YYY.logName日志字段名称

3. 系统详细设计

3.1 详细设计

3.1.1 活动图

未命名绘图-第 14 页 (1).png

3.1.2 时序图

未命名绘图-第 13 页 (2).png

3.1.3 类图

Tony框架.png

包职责
com.jd.car.tony.annoation注解层 负责声明要被代理的业务操作。
com.jd.car.tony.limit负责记录敏感数据的访问次数，并提供预警。
com.jd.car.tony.mask管理基础配置，并根据配置进行敏感数据遮盖脱敏。
com.jd.car.tony.log记录敏感数据的访问操作，输出统一格式的日志信息。
com.jd.car.tony.unmask提供敏感数据的明文信息查看功能。
com.jd.car.tony.supportutil包，负责全局功能的支持。

4. 接入使用

4.1 引入坐标
			<dependency>
                <groupId>com.jd.car</groupId>
                <artifactId>tony-spring-boot-starter</artifactId>
                <version>1.8-RELEASE</version>
            </dependency>
4.2 yaml配置
tony:
  appName: "appName"
  #鉴权信息key
  sessionName: ""
  systemName: "systemName"
  warningName: "XXX"
  #脱敏白名单
  maskSourceName: ""
  types:
    name:
      regex: "([\\u4e00-\\u9fa5a-z0-9]{1})[\\u4e00-\\u9fa5a-z0-9]+"
      replacement: "$1**"
      logName: "accountName"
  mask:
    order:
      enable: true
      limits: 100
      limitError: false
      cacheKey: "order:${argItem.id}"
      menuName: "场景名称"
      name: "order"
      #日志记录操作类型
      maskLogOp: ""
      maskLogAccountType: 3
      
   #预警邮箱设置
   mail:
    mailHost: 
    mailPort: 
    mailUser: 
    mailPwd: 
    mailFrom: 
    mailTo: 
    copyto: 
    sendFlag: 
    
 #异步事件缓存明文数据配置，分布式缓存
 jd:
  cache:
    jimdb:
      enable: false
      url: ''
  event:
    enable: true
    queue:
      # 自定义queue名字，例如monitorQueue
      maskMonitorQueue:
        retryCount: 3
        maxBakSize: 1000
        # monitorHandle 处理事件的beanName
        handlerBean: maskMonitorCacheHandle
4.3 日志文件配置
<?xml version="1.0" encoding="UTF-8"?>
<configuration scan="true" scanPeriod="60 seconds" debug="false">

    <contextName>demo</contextName>
    <!-- 日志最大的历史 单位：天 -->
    <property name="maxHistory" value="90"/>

    <property name="LOG_PATTERN"
              value="%d{yyyy-MM-dd HH:mm:ss.SSS,GMT+8:00} -%5p ${PID:- } --- [%X{PFTID}][%t] %-40.40logger{39}[%L] : %m%n"/>

    <property name="LOG_CHARSET" value="UTF-8"/>

    <property name="LOG_DES_PATTERN" value="%msg%n" />

    <!-- 彩色日志依赖的渲染类 -->
    <conversionRule conversionWord="clr" converterClass="org.springframework.boot.logging.logback.ColorConverter"/>
    <conversionRule conversionWord="wex"
                    converterClass="org.springframework.boot.logging.logback.WhitespaceThrowableProxyConverter"/>
    <conversionRule conversionWord="wEx"
                    converterClass="org.springframework.boot.logging.logback.ExtendedWhitespaceThrowableProxyConverter"/>

    <property name="LOG_PATTERN"
              value="%d{yyyy-MM-dd HH:mm:ss.SSS,GMT+8:00} -%5p ${PID:- } --- [%X{PFTID}][%t] %-40.40logger{39}[%L] : %m%n"/>

    <!-- 彩色日志格式 -->
    <property name="CONSOLE_LOG_PATTERN"
              value="${CONSOLE_LOG_PATTERN:-%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} %clr(${LOG_LEVEL_PATTERN:-%5p}) %clr(${PID:- }){magenta} %clr(---){faint} %clr([%X{PFTID}][%15.15t]){faint} %clr(%-40.40logger{39}[%L]){cyan} %clr(:){faint} %m%n}"/>


    <appender name="mask" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${log.path}/today_log/mask.log</file>
        <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
            <level>INFO</level>
        </filter>
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <fileNamePattern>${log.path}/history_logs/mask-%d{yyyy-MM-dd}.log</fileNamePattern>
            <maxHistory>30</maxHistory>
        </rollingPolicy>
        <encoder>
            <charset>${LOG_CHARSET}</charset>
            <pattern>${LOG_DES_PATTERN}</pattern>
        </encoder>
    </appender>
    <logger name="com.jd.car.tony.log.DefaultMaskLogProcessor" additivity="false">
        <level value="INFO" />
        <appender-ref ref="mask" />
    </logger>

</configuration>
4.3 场景接入
 /**
     * 测试脱敏
     *
     * @return
     */
    @RequestMapping("test")
    @MaskMethod("order")
    public DemoResult test(AuthInfoBO authInfo) {
        return new DemoResult();
    }

    /**
     * 测试脱敏
     *
     * @return
     */
    @RequestMapping("test-list")
    @MaskMethod("order")
    public List<DemoResult> testList(AuthInfoBO authInfo) {
        List<DemoResult> objects = Lists.newArrayList();
        objects.add(new DemoResult());
        objects.add(new DemoResult());
        return objects;
    }

 		@Autowired
    private IUnMaskProcessor unMaskProcessorProxy;

    /**
     * 测试反脱敏
     *
     * @return
     */
    @RequestMapping("unmask")
    public Map testUnMask(@RequestBody UnMaskRequest unMaskRequest, AuthInfoBO authInfo) {
        return unMaskProcessorProxy.unMask(unMaskRequest, authInfo);
    }
4.3 脱敏字段配置
@Data
public class DemoResult {

    @Mask(type = "name")
    private String userName = "jajajaasjcij";

    @Mask(type = "phone")
    private String userTel = "18911112222";

    private Long orderId = 1L;

}
4.4 业务监控
业务监控点触发逻辑
敏感数据明文查看单账号、单日、单接口访问次数到达访问限额时，则发送邮件给权限管理人员。
敏感数据查询日志敏感数据脱敏后、明文数据查看时，按集团要求格式单独记录到日志文件中。

作者：京东零售 邱新达

来源：京东云开发者社区

博客
京东零售广告创意：基于人类反馈的可信赖图像生成
11-14 671
在电商领域，吸引顾客注意力的广告图片至关重要。尽管生成模型可以自动生成图像，但它们往往会产生不符合广告标准的图片，可能误导顾客，并需要大量人工成本进行检查。本文探讨了如何提高可用生成图像的比例。我们首先引入了一种多模态可信赖反馈网络（RFNet），用于自动检查生成的图像。将RFNet整合到一个循环过程——循环生成中，可以提高可用广告图像的数量。为了进一步提升生产效率，我们通过一种创新的一致性条件正则化方法，利用RFNet的反馈来微调扩散模型（RFFT）。
博客
前端调试实践
11-14 777
在日常调试问题中，相信我们很多人都是用console去排查相关的问题，虽然问题也可以排查出来，但是有时它的效率并不高。这篇文章主要讲解关于断点和一些日常调试技巧的内容，方便你在日后调试问题中，能在不同的前端场景应用不同的调试方式，翻倍提高你解决问题的效率本文介绍了断点调试、sources面板和日常使用到的一些调试技巧，帮助我们在后续的开发中，提供一些新角度、新方式来解决问题，翻倍提高我们的开发效率。
博客
自动化实践之：从UI到接口，Playwright给你全包了！
11-14 622
当然我们不仅仅满足于case的录制和本地手动执行，而更希望能够在生成case之后，可以定期执行、自动执行录制的case，并生成能够直观反映case执行结果的报告，这样就可以实现从用例录制、收集、定期执行到测试效果反馈的完整自动化测试链路，实现系统的测试和监控的同时，显著提升测试的效率，极大节省时间人力成本。通过playwright实现用例自动生成，定时执行并产出报告的车险UI自动化测试系统，能够帮助我们显著提高测试效率，节省大量的测试时间。这些功能的UI自动化测试具有很高的可行性和必要性。
博客
记一次老商家端应用内存突然飚高原因分析
11-13 584
回过头来咱们再分析以下这个功能，通过系统日志及监控，发现该功能商家日常使用较少，并且大部分商家的保质期商品较少，极少数会存在有非常多保质期商品数据的情况。但是一旦出现这样的问题就会很致命，所以在导出功能设计之初我们就应该考虑到将来任何可能出现的情况，并做好提前的预防。另外就是要做功能的限制，例如导出次数、导出数据量的限制功能来保障商家体验及系统的安全稳定。另外再说一下，对导出功能的理解，对于商家而已，导出需求是正常的。但是过多大批量数据的一起导出无论对哪个系统来说都是非常危险的一个功能。
博客
【企业数字化转型】一文讲透DevOps理论体系的演进
11-13 707
作者：京东零售 刘晓成。
博客
【实践篇】一次Paas化热部署实践分享
11-13 619
本文是早些年，Paas化刚刚提出不久时，基于部门内第一次Paas化热部署落地经验所写，主要内容是如何构建一些热部署代码以及一些避雷经验。1、水平业务身份抽取，先明确的抽取垂直，再从垂直的实现里抽取水平2、前中台部署执行逻辑，未命中垂直身份，直接执行默认逻辑，命中垂直身份，根据matrix-ext.json执行3、垂直业务包中未实现任何扩展点时，热部署无法发布，需要写一个默认占位实现4、垂直业务包只能发布，没有下线功能。
博客
缓存之美——如何选择合适的本地缓存？
11-12 901
小编最近在使用系统的时候，发现尽管应用已经使用了redis缓存提高查询效率，但是仍然有进一步优化的空间，于是想到了比分布式缓存性能更好的本地缓存，因此对领域内常用的本地缓存进行了一番调研，有早期的Guava缓存、在Guava上进一步传承的Caffine以及自称在Java中使用最广泛的EhCache，那么我们该怎么选择适合自己应用的缓存呢，小编下面会简单介绍，并将以上缓存进行一个对比，希望帮助大家选择最适合自己系统的本地缓存。
博客
B端体验深耕-洞察用户需求，打造心有灵犀的使用体验
11-12 891
作者：京东科技 程跃宇。
博客
Java定时任务大盘点：发工资也能“指日可待”
11-12 391
作者：京东保险 孙昊宇让我们先从一个成语开始，“指日可待”。没错，我说的就是定时任务😏。为任务指定好日程，就可以安心等待任务执行。在实际场景中，我们往往需要在特定时间做某件事情，或以某个时间间隔重复某件事情，如定期备份数据、定时取消超时订单等。所有和时间有关的事情，都需要借助定时任务来完成。。本地定时任务，即单机定时任务，适合做那些需要每台机器都执行的任务，如刷新每台机器的本地缓存；分布式定时任务则以一个分布式集群为单位执行任务，适用于支持在分布式场景下任务的高可用。
博客
日志框架简介-Slf4j+Logback入门实践
11-11 934
随着互联网和大数据的迅猛发展，分布式日志系统和日志分析系统已广泛应用，几乎所有应用程序都使用各种日志框架记录程序运行信息。因此，作为工程师，了解主流的日志记录框架非常重要。虽然应用程序的运行结果不受日志的有无影响，但没有日志的应用程序是不完整的，甚至可以说是有缺陷的。优秀的日志系统可以记录操作轨迹监控系统运行状态和解决系统故障。在上文中已经提及，目前常用的日志框架有 Log4j，Log4j 2，Commons Logging，Slf4j，Logback，JUL。
博客
java浅拷贝BeanUtils.copyProperties引发的RPC异常
11-11 258
作者：京东物流 吴义。
博客
大数据从业者必知必会的Hive SQL调优技巧
11-11 552
在HDFS中，每个小文件对象约占150字节的元数据空间，如果有大量的小文件存在，将会占用大量的内存资源。根据集群的配置和资源情况，合理调整Hive查询的并行度和资源分配，可以提高查询的并发性和整体性能。COUNT DISTINCT操作需要用一个Reduce Task来完成，这一个Reduce需要处理的数据量太大，就会导致整个Job很难完成，一般COUNT DISTINCT使用先GROUP BY再COUNT的方式替换，虽然会多用一个Job来完成，但在数据量大的情况下，这个绝对是值得的。
博客
探索设计稿自动生成Flutter代码的技术方案
11-08 752
在这里插入图片描述。
博客
开源分析和落地方案—Sentinel篇
11-08 911
作者：京东物流 刘达。
博客
Spring事务实现原理
11-08 671
先从配置文件开始入手，找到处理annotation-driven标签的类TxNamespaceHandler。TxNamespaceHandler实现了NamespaceHandler接口，定义了如何解析和处理自定义XML标签。@OverrideAnnotationDrivenBeanDefinitionParser里的parse()方法，对XML标签annotation-driven进行解析。
博客
一文理解布隆过滤器和布谷鸟过滤器
11-07 733
作者：京东保险 王奕龙最近在大促中使用到了布隆过滤器，所以本次借着机会整理下相关内容，并了解了布谷鸟过滤器，希望对后续学习的同学有启发~
博客
AI对话魔法｜Prompt Engineering 探索指南
11-07 789
作者：京东物流 李雪婷。
博客
简述大前端技术栈的渲染原理
11-07 552
‌：在iOS中，布局是通过Auto Layout系统实现的，这是一个基于约束的布局系统，它根据视图及其子视图的约束条件计算位置和大小。Android的渲染过程是自上向下的递归测量和布局过程，Android 系统的渲染管道充分利用了多线程、硬件加速和显示同步技术，确保流畅的用户体验。React Native的渲染原理和主要流程通过JavaScript线程与原生线程的紧密协作，以及Virtual DOM和Diff算法的优化，实现了在JavaScript中编写UI代码并在App原生环境中高效渲染的能力。
博客
如何在服务器端自动ban掉扫描ssh的IP
11-06 330
通过以上操作可以看到过去24小时内一共被ban了 很多IP。如下图所示，通过这个策略。可以大幅度缓解ssh 账号密码被暴力破解的进度。
博客
数据科学在京东物流关键角色与前沿应用探索
11-06 623
作者：京东物流 何平小编之所以选择这个话题，是希望帮助大家更全面地理解数据科学的概念。数据科学是一个广泛而深刻的领域，不仅仅是数据分析、机器学习或大模型的代名词。它的核心在于如何更有效地挖掘数据背后的价值，将数据转化为业务驱动力。最终，通过数据科学实现成本优化、效率提升和用户体验改善，使企业在实际应用中获得可见的成果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值