【安当产品应用案例100集】009-安当KTM在企业数据脱敏中的应用

安当的企业客户在进行业务系统数据安全合规改造时，涉及到一个普遍的问题就是对于存量敏感数据的处理。改造方案一般针对新产生的数据会在业务流程中增加脱敏环节，而对于存量数据，业务流程中增加脱敏功能就变成了“一次性”的开发工作。这种情况下，在业务系统改造方案上线前，使用辅助工具对于业务系统中的存量数据进行“静态脱敏”，就不失为一种更经济的处理方案。安当KTM（Key Tokenization Module）就是基于企业客户这个脱敏需求而开发的一个独立的数据脱敏组件。

以下案例，我们会简单介绍一下数据脱敏的一些方法和安当企业客户的实际使用场景。

一、什么是数据脱敏

数据脱敏（Data Masking）是一种关键的数据保护技术，旨在防止敏感信息和隐私数据的未授权访问或泄露。通过策略性地修改或替换原始数据中的敏感部分，数据脱敏能够生成一个在结构和格式上与原数据相似，但不包含实际敏感信息的数据副本。这种数据副本适用于开发、测试、分析和培训等非生产环境，确保了数据的安全使用。

数据脱敏技术的核心目标是解决在非可信环境中使用敏感数据的挑战。通过编辑和处理，它确保敏感数据即使在被访问的情况下，也无法被识别或解析出其原始的敏感含义。这样，无论是人还是机器，都无法从脱敏后的数据中获取到敏感信息。

数据脱敏的主要目的是保护隐私，确保个人信息如身份证号、电话号码、银行账号等不被非法获取和利用。同时，它也保证了数据在共享和使用过程中的安全性。数据脱敏技术广泛应用于政府、企业、金融、医疗等多个领域，在数据采集、传输、存储、处理和共享的过程中发挥着重要作用。

数据脱敏的方法多种多样，包括但不限于以下几种：

1. 替换：以虚构的数据代替真值。例如，建立一个较大的虚拟值数据表，对每一真实值记录产生随机种子，对原始数据内容进行哈希映射替换。
2. 无效化：以NULL或特定符号（如*****）代替真值或真值的一部分，如遮盖信用卡号的后12位。
3. 置乱：对敏感数据列的值进行重新随机分布，混淆原有值和其他字段的联系。这种方法不影响原有数据的统计特性，如最大/最小/方差等均与原数据无异。
4. 均值化：针对数值型数据，首先计算它们的均值，然后使脱敏后的值在均值附近随机分布，从而保持数据的总和不变。通常用于产品成本表、工资表等场合。
5. 反推断：查找可能由某些字段推断出另一敏感字段的映射，并对这些字段进行脱敏，如从出生日期可推断出身份证号、性别、地区的场景。
6. 偏移：通过随机移位改变数字数据。
7. FPE（Format Preserving Encryption）：即保留格式加密，是一种特殊的可逆脱敏方法。通过加密密钥和算法对原始数据进行加密，密文格式与原始数据在逻辑规则上一致，如都为日期、卡号、结构化值等。通过解密密钥可以恢复原始数据。

数据脱敏技术的数据处理过程通常包括以下几个步骤：

1. 元数据识别：识别数据中的敏感信息和元数据。
2. 脱敏数据识别：在元数据的基础上，进一步识别需要脱敏的具体数据项。
3. 数据脱敏方案制定：根据实际需求和数据特性，制定脱敏规则和方案。
4. 任务执行：按照脱敏方案对数据进行脱敏处理。
5. 效果比对：对比脱敏前后的数据，确保脱敏效果符合预期。

二、安当客户的数据脱敏场景

安当有客户需要定期做行业的大数据分析，数据需要周期性从业务系统中导出。数据导出和拷贝都需要申请和审批，数据拷贝前必须经过脱敏处理。

客户最初为了满足安全需求，事先由工程师操作导出CSV格式的数据，然后分析方在场的情况下，现场使用脚本对关键字段做替换处理，由于导出数据动辄百万量级，处理效率非常低，经常出现脚本卡死或者替换过程出现异常数据的情况。

以上步骤是在客户纸件流程审批之后完成的。虽然有流程约束，但是我们看这四个实际操作过程，都是双方工程师手工执行的，这中间事实上存在执行阶段的漏洞。比如人员权限问题，比如误拷贝问题，比如脚本算法安全性问题，比如数据转换后的分析效率问题等等等等。

三、安当脱敏技术方案

根据上一节客户的业务需求场景，我们也能看到，数据脱敏不止是算法和脚本那么简单，还涉及到流程审批、人员权限、操作执行效率、算法标准化等诸多问题。安当的KTM组件是如何来解决这些问题的呢？

1、首先是用户管理，通过用户添加、用户修改、密码重置、删除用户功能， 实现脱敏这种敏感业务操作人员可控。

2、其次KTM提供日志和审计功能，以确保全面的追踪和验证系统中的关键操作。这个功能对于维护安全和合规性至关重要。

 

3、用户和日志解决了权限控制和问题追溯的难点。KTM还可以管理所有需要数据处理的源库和目标库，管理数据库IP、端口、账号、密码等信息，密码加密存储在数据库中。展示都是密文展示。这样对于数据的操作就由手工变成了系统。

 

4、KTM系统支持配置数据脱敏策略。我们提供了各种行业模板，这些模板旨在满足特定行业的隐私和合规性要求。这些模板定义了哪些数据应该被脱敏，以及脱敏的程度。

 

5、KTM系统提供广泛的加密函数算法支持，以满足不同的加密需求。我们支持多种对称密钥算法，包括：

• 高级加密标准AES，用于加密和解密数据，提供强大的数据保护。
• 保留格式加密算法，我们支持FF1、FF3。

四、方案后续

这个案例中，客户最终部署KTM系统后，在原有纸件审批的流程之外，解决了原手工脱敏的权限、误操作、执行效率等方面的问题。

部署了KTM系统后，原来以天为单位的数据脱敏交付，通过专用KTM服务器，实现了处理10万数据30秒左右、1000万数据30分钟左右的高效交付。

除了数据静态脱敏，安当也建议客户考虑数据全生命周期的安全方案，依托安当的KDPS解决方案，可以实现业务系统中的数据动态脱敏、数据库实例落盘透明加密等能力，帮助客户实现敏感数据的全生命周期管理。

文章作者：太白 ©本文章解释权归安当西安研发中心所有