python个人数据脱敏_数据脱敏的处理方法及查询

【摘要】

关键词：集算器、SPL、数据脱敏、报表

1)、数据脱敏是“指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下，在不违反系统规则条件下，对真实数据进行改造并提供测试使用，如身份证号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。是数据库安全技术之一。”

2)、本文介绍的脱敏数据报表查询将利用润乾集算器编写 SPL 脚本，对敏感信息字段 (如: 姓名、证件号、银行账户、住址、电话号码、企业名称、工商注册号、纳税人识别号) 等通过预定义的脱敏规则进行数据脱敏、变形，实现敏感隐私数据的保护。

3)、润乾集算器能使脱敏工作变得的简单易行，同时可以减少大量重复性工作。通过集算器 SPL 脚本实现的脱敏数据，可直接作为报表数据集进行查询分析，也可以作为开发、测试和其它非生产环境或外包环境下的真实数据集使用。

数据脱敏的处理方法及查询

1.1  数据脱敏介绍

根据百度词条的解释，数据脱敏是“指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下，在不违反系统规则条件下，对真实数据进行改造并提供测试使用，如身份证号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。是数据库安全技术之一，数据库安全技术主要包括：数据库漏扫、数据库加密、数据库防火墙、数据脱敏、数据库安全审计系统。”

随着信息时代的发展，我们对数据信息的安全要求越来越重视，比如对非生产环境下的敏感数据的脱敏保护。在金融、运营商、政府、能源等部门，非生产环境下数据脱敏已列入监管部门的法规要求。非生产环境数据多用于开发、测试、培训以及第三方数据分析、挖掘，如果不能有效实施敏感数据保护，极易造成敏感数据的泄露。所以，保证非生产数据的安全已经成为一个重要的课题，要求我们能够通过对敏感信息进行脱敏、变形，实现有效的数据保护。

1.2  对数据脱敏工具的要求

数据脱敏工具应该具有对多种异构数据源的支持，从而将一个脱敏规则应用于不同的数据源，比如针对“客户名称”字段的修改，脱敏规则基本一致，所以应该可以在 Excel、TXT、Oracle、MS SQLServer、MySQL、Hadoop 等数据源上直接引用。另外，工具还应支持将脱敏数据完全不落地分发，提供文件到文件、文件到数据库、数据库到数据库、数据库到文件等方式，并且不需要在生产系统或本地安装任何客户端。

本文介绍的脱敏数据报表查询将利用润乾集算器编写 SPL 脚本，对敏感信息字段 ( 如: 姓名、证件号、银行账户、住址、电话号码、企业名称、工商注册号、纳税人识别号) 等通过预定义的脱敏规则进行数据脱敏、变形，实现敏感隐私数据的保护。

润乾集算器能使脱敏工作变得的简单易行，同时可以减少大量重复性工作。通过集算器 SPL 脚本实现的脱敏数据，可直接作为报表数据集进行查询分析，也可以作为开发、测试和其它非生产环境或外包环境下的真实数据集使用。

1.3  脱敏数据的特征

数据脱敏不仅要执行数据漂白，抹去数据中的敏感内容，同时也需要保持原有的数据特征、业务规则和数据关联性，保证开发、测试、培训以及大数据类业务不会受到脱敏的影响，达成脱敏前后的数据一致性和有效性：

l 保持原有数据特征

数据脱敏前后必须保证数据特征的保持，例如：身份证号码由十七位数字本体码和一位校验码组成，分别为区域地址码(6 位)、出生日期(8 位)、顺序码(3 位)和校验码(1 位)。那么身份证号码的脱敏规就需要保证脱敏后依旧保持这些特征信息。

l 保持数据之间的一致性

在不同业务中，数据和数据之间具有一定的关联性。例如：出生年月或年龄和出生日期之间的关系。同样，身份证信息脱敏后仍需要保证出生年月字段和身份证中包含的出生日期之间的一致性。

l 保持业务规则的关联性

保持数据业务规则的关联性是指数据脱敏时数据关联性以及业务语义等保持不变，其中数据关联性包括：主、外键关联性、关联字段的业务语义关联性等。特别是高度敏感的账户类主体数据往往会贯穿主体的所有关系和行为信息，因此需要特别注意保证所有相关主体信息的一致性。

l 多次脱敏之间的数据一致性

相同的数据进行多次脱敏，或者在不同的测试系统进行脱敏，需要确保每次