数据脱敏方案
一、前言
实际的业务系统开发过程中,常需要对用户的隐私数据进行脱敏处理,即将数据进行混淆隐藏,例如将用户的手机号、地址等数据信息,采用****号进行隐藏,以免泄露个人隐私信息。这涉及到页面端和数据端两方面脱敏。
二、脱敏方案设计
2.1 指定字段脱敏
如果需要脱敏的数据范围很小,甚至就是指定的字段,一般的处理方式也很简单,就是写一个隐藏方法即可实现数据脱敏。
采用这种方式实现简单且好维护。
2.2 SpringBoot + jackson
若需要分门别类的进行脱敏处理,简单粗暴的处理不好维护且繁杂,需要在数据输出的阶段,进行统一数据脱敏处理。
数据输出涉及到 JSON 序列化,而web 系统,就是将数据通过 json 序列化之后展示给前端。那就可以在序列化的时候,进行数据脱敏处理。
2.2.1 添加依赖包
若项目已经添加spring-web包或者spring-boot-starter-web包,就已经默认集成jackson相关包,无需重复依赖。
若项目没有jackson包,则pom.xml添加相关依赖:
<!--jackson依赖-->
<dependency>
<groupId>com.fasterxml.jackson.core</groupId>
<artifactId>jackson-core</artifactId>
<version>2.9.8</version>
</dependency>
<dependency>
<groupId>com.fasterxml.jackson.core</groupId>
<artifactId>jackson-annotations</artifactId>
<version>2.9.8</version>
</dependency>
<dependency>
<groupId>com.fasterxml.jackson.core</groupId>
<artifactId>jackson-databind</artifactId>
<version>2.9.8</version>
</dependency>
2.2.2 脱敏类型枚举类
public enum SensitiveEnum {
/**
* 中文名
*/
CHINESE_NAME,
/**
* 身份证号
*/
ID_CARD,
/**
* 座机号
*/
FIXED_PHONE,
/**
* 手机号
*/
MOBILE_PHONE,
/**
* 地址
*/
ADDRESS,
/**
* 电子邮件
*/
EMAIL,
/**
* 银行卡
*/
BANK_CARD,
/**
* 公司开户银行联号
*/
CNAPS_CODE
}
2.2.3 脱敏注解类
import com.fasterxml.jackson.annotation.JacksonAnnotationsInside;
import com.fasterxml.jackson.databind.annotation.JsonSerialize;
import java.lang.annotation.Retention;
import java.lang.annotation.RetentionPolicy;
@Retention(RetentionPolicy.RUNTIME)
@JacksonAnnotationsInside
@JsonSerialize(using = SensitiveSerialize.class)
public @interface SensitiveWrapped {
/**
* 脱敏类型
* @return
*/
SensitiveEnum value();
}
2.2.4 脱敏序列化类
import com.fasterxml.jackson.core.JsonGenerator;
import com.fasterxml.jackson.databind.BeanProperty;
import com.fasterxml.jackson.databind.JsonMappingException;
import com.fasterxml.jackson.databind.JsonSerializer;
import com.fasterxml.jackson.databind.SerializerProvider;
import com.fasterxml.jackson.databind.ser.ContextualSerializer;
import java.io.IOException;
import java.util.Objects;
public class SensitiveSerialize extends JsonSerializer<String> implements ContextualSerializer {
/**
* 脱敏类型
*/
private SensitiveEnum type;
@Override
public void serialize(String s, JsonGenerator jsonGenerator, SerializerProvider serializerProvider) throws IOException {
switch (this.type) {
case CHINESE_NAME: {
jsonGenerator.writeString(SensitiveInfoUtils.chineseName(s));
break;
}
case ID_CARD: {
jsonGenerator.writeString(SensitiveInfoUtils.idCardNum(s));
break;
}
case FIXED_PHONE: {
jsonGenerator.writeString(SensitiveInfoUtils.fixedPhone(s));
break;
}
case MOBILE_PHONE: {
jsonGenerator.writeString(SensitiveInfoUtils.mobilePhone(s));
break;
}
case ADDRESS: {
jsonGenerator.writeString(SensitiveInfoUtils.address(s, 4));
break;
}
case EMAIL: {
jsonGenerator.writeString(SensitiveInfoUtils.email(s));
break;
}
case BANK_CARD: {
jsonGenerator.writeString(SensitiveInfoUtils.bankCard(s));
break;
}
case CNAPS_CODE: {
jsonGenerator.writeString(SensitiveInfoUtils.cnapsCode(s));
break;
}
}
}
@Override
public JsonSerializer<?> createContextual(SerializerProvider serializerProvider, BeanProperty beanProperty) throws JsonMappingException {
// 为空直接跳过
if (beanProperty != null) {
// 非 String 类直接跳过
if (Objects.equals(beanProperty.getType().getRawClass(), String.class)) {
SensitiveWrapped sensitiveWrapped = beanProperty.getAnnotation(SensitiveWrapped.class);
if (sensitiveWrapped == null) {
sensitiveWrapped = beanProperty.getContextAnnotation(SensitiveWrapped.class);
}
if (sensitiveWrapped != null) {
// 如果能得到注解,就将注解的 value 传入 SensitiveSerialize
return new SensitiveSerialize(sensitiveWrapped.value());
}
}
return serializerProvider.findValueSerializer(beanProperty.getType(), beanProperty);
}
return serializerProvider.findNullValueSerializer(beanProperty);
}
public SensitiveSerialize() {}
public SensitiveSerialize(final SensitiveEnum type) {
this.type = type;
}
}
2.2.5 脱敏工具类
import org.apache.commons.lang3.StringUtils;
public class SensitiveInfoUtils {
/**
* [中文姓名] 只显示第一个汉字,其他隐藏为2个星号<例子:李**>
*/
public static String chineseName(final String fullName) {
if (StringUtils.isBlank(fullName)) {
return "";
}
final String name = StringUtils.left(fullName, 1);
return StringUtils.rightPad(name, StringUtils.length(fullName), "*");
}
/**
* [中文姓名] 只显示第一个汉字,其他隐藏为2个星号<例子:李**>
*/
public static String chineseName(final String familyName, final String givenName) {
if (StringUtils.isBlank(familyName) || StringUtils.isBlank(givenName)) {
return "";
}
return chineseName(familyName + givenName);
}
/**
* [身份证号] 显示最后四位,其他隐藏。共计18位或者15位。<例子:420**********5762>
*/
public static String idCardNum(final String id) {
if (StringUtils.isBlank(id)) {
return "";
}
return StringUtils.left(id, 3).concat(StringUtils
.removeStart(StringUtils.leftPad(StringUtils.right(id, 4), StringUtils.length(id), "*"),
"***"));
}
/**
* [固定电话] 后四位,其他隐藏<例子:****1234>
*/
public static String fixedPhone(final String num) {
if (StringUtils.isBlank(num)) {
return "";
}
return StringUtils.leftPad(StringUtils.right(num, 4), StringUtils.length(num), "*");
}
/**
* [手机号码] 前三位,后四位,其他隐藏<例子:138******1234>
*/
public static String mobilePhone(final String num) {
if (StringUtils.isBlank(num)) {
return "";
}
return StringUtils.left(num, 3).concat(StringUtils
.removeStart(StringUtils.leftPad(StringUtils.right(num, 4), StringUtils.length(num), "*"),
"***"));
}
/**
* [地址] 只显示到地区,不显示详细地址;我们要对个人信息增强保护<例子:北京市海淀区****>
*
* @param sensitiveSize 敏感信息长度
*/
public static String address(final String address, final int sensitiveSize) {
if (StringUtils.isBlank(address)) {
return "";
}
final int length = StringUtils.length(address);
return StringUtils.rightPad(StringUtils.left(address, length - sensitiveSize), length, "*");
}
/**
* [电子邮箱] 邮箱前缀仅显示第一个字母,前缀其他隐藏,用星号代替,@及后面的地址显示<例子:g**@163.com>
*/
public static String email(final String email) {
if (StringUtils.isBlank(email)) {
return "";
}
final int index = StringUtils.indexOf(email, "@");
if (index <= 1) {
return email;
} else {
return StringUtils.rightPad(StringUtils.left(email, 1), index, "*")
.concat(StringUtils.mid(email, index, StringUtils.length(email)));
}
}
/**
* [银行卡号] 前六位,后四位,其他用星号隐藏每位1个星号<例子:6222600**********1234>
*/
public static String bankCard(final String cardNum) {
if (StringUtils.isBlank(cardNum)) {
return "";
}
return StringUtils.left(cardNum, 6).concat(StringUtils.removeStart(
StringUtils.leftPad(StringUtils.right(cardNum, 4), StringUtils.length(cardNum), "*"),
"******"));
}
/**
* [公司开户银行联号] 公司开户银行联行号,显示前两位,其他用星号隐藏,每位1个星号<例子:12********>
*/
public static String cnapsCode(final String code) {
if (StringUtils.isBlank(code)) {
return "";
}
return StringUtils.rightPad(StringUtils.left(code, 2), StringUtils.length(code), "*");
}
}
2.2.6 测试实体类
public class UserEntity {
/**
* 用户ID
*/
private Long userId;
/**
* 用户姓名
*/
private String name;
/**
* 手机号
*/
@SensitiveWrapped(SensitiveEnum.MOBILE_PHONE)
private String mobile;
/**
* 身份证号码
*/
@SensitiveWrapped(SensitiveEnum.ID_CARD)
private String idCard;
/**
* 年龄
*/
private String sex;
/**
* 性别
*/
private int age;
//省略get、set...
}
2.2.7 测试程序
public class SensitiveDemo {
public static void main(String[] args) throws JsonProcessingException {
UserEntity userEntity = new UserEntity();
userEntity.setUserId(1l);
userEntity.setName("张三");
userEntity.setMobile("18000000001");
userEntity.setIdCard("420117200001011000008888");
userEntity.setAge(20);
userEntity.setSex("男");
//通过jackson方式,将对象序列化成json字符串
ObjectMapper objectMapper = new ObjectMapper();
System.out.println(objectMapper.writeValueAsString(userEntity));
}
}
结果如下:
{"userId":1,"name":"张三","mobile":"180****0001","idCard":"420*****************8888","sex":"男","age":20}
若项目基于SpringMVC框架进行开发,那在对象返回的时候,框架会自动采用jackson框架进行序列化。
@RequestMapping("/hello")
public UserEntity hello() {
UserEntity userEntity = new UserEntity();
userEntity.setUserId(1l);
userEntity.setName("张三");
userEntity.setMobile("18000000001");
userEntity.setIdCard("420117200001011000008888");
userEntity.setAge(20);
userEntity.setSex("男");
return userEntity;
}
请求网页http://127.0.0.1:8080/hello,结果如下:
案例下载:
https://gitee.com/pzblogs/spring-boot-example-demo
2.3 Mybatis数据脱敏
2.3.1 自定义TypeHandler类型转换器
用于处理数据在数据库类型和java类型之间的转换,默认情况下,常用的String、Long、Date等java类型都有对应的TypeHandler进行处理,自定义TypeHanler实现目前没有对应的数据转换处理器。
import cn.hutool.crypto.symmetric.AES;
import org.apache.ibatis.type.BaseTypeHandler;
import org.apache.ibatis.type.JdbcType;
import org.springframework.util.StringUtils;
import java.nio.charset.StandardCharsets;
import java.sql.CallableStatement;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.util.Objects;
/**
* mybatis String类型敏感字段处理类
* 可以通过实现TypeHandler,但是BaseTypeHandler已经实现了,我们可以继承它
*/
public class SensitiveColumnHandler extends BaseTypeHandler<String> {
private static final String key = "wjfgncvkdkd25fc2";
/**
* 设置参数值,在此处对字段值进行加密处理
*/
@Override
public void setNonNullParameter(PreparedStatement ps, int i, String parameter, JdbcType jdbcType) throws SQLException {
// 如果字段或字段值为空,不进行处理
if(StringUtils.isEmpty(parameter)){
ps.setString(i, parameter);
return;
}
// 对字段值进行加密,此处使用hutool工具,有其他使用其他即可
AES aes = SecureUtil.aes(key.getBytes(StandardCharsets.UTF_8));
String secretStr = aes.encryptHex(parameter);
ps.setString(i, secretStr);
}
/**
* 获取值内容
*/
@Override
public String getNullableResult(ResultSet rs, String columnName) throws SQLException {
String value = rs.getString(columnName);
if(Objects.isNull(value)){
return null;
}
// 对字段值进行加密,此处使用hutool工具,有其他使用其他即可
AES aes = SecureUtil.aes(key.getBytes(StandardCharsets.UTF_8));
return aes.decryptStr(value);
}
/**
* 获取值内容
*/
@Override
public String getNullableResult(ResultSet rs, int columnIndex) throws SQLException {
String value = rs.getString(columnIndex);
if(Objects.isNull(value)){
return null;
}
// 对字段值就行加密,此处使用hutool工具,有其他使用其他即可
AES aes = SecureUtil.aes(key.getBytes(StandardCharsets.UTF_8));
return aes.decryptStr(value);
}
/**
* 获取值内容
*/
@Override
public String getNullableResult(CallableStatement cs, int columnIndex) throws SQLException {
String value = cs.getString(columnIndex);
if(Objects.isNull(value)){
return null;
}
// 对字段值进行加密,此处使用hutool工具,有其他使用其他即可
AES aes = SecureUtil.aes(key.getBytes(StandardCharsets.UTF_8));
return aes.decryptStr(value);
}
}
2.3.2 处理器的使用
全局使用处理器:需要在配置文件中指定处理器包位置,指定后任意位置遇到该处理器能够处理的类型,都会使用该处理器。但只有在字符串是敏感数据时,才需要用到自定义的处理器。故不不建议使用。
#指定TypeHandler处理器的包位置
type-handlers-package: com.sensitive.learn.handler
局部使用处理器:在需要的字段上使用typeHandler表明指定的处理器,没有标注typeHandler的字段,将采用默认的处理器。(此处使用见Mapper.xml)。
创建Test实体类:
@Data
@Accessors(chain = true)
public class Test {
private Long id;
private String idCard;
private String phone;
}
TestMapper接口类:
@Mapper
public interface TestMapper {
List<Test> selectAll();
Boolean insert(Test test);
}
Myatis Mappe.xml文件:
在需要自定义TypeHandler的字段是使用typeHandler属性进行指定:
<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE mapper
PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN"
"http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.sensitive.learn.mapper.TestMapper">
<resultMap id="testMap" type="com.sensitive.learn.model.Test">
<id property="id" column="id"/>
<result property="idCard" column="id_card" typeHandler="com.sensitive.learn.handler.SensitiveColumnHandler"/>
<result property="phone" column="phone" typeHandler="com.sensitive.learn.handler.SensitiveColumnHandler"/>
</resultMap>
<select id="selectAll" resultMap="testMap">
select id, id_card, phone
from test
</select>
<insert id="insert" parameterType="com.sensitive.learn.model.Test">
insert into test(id, id_card, phone)
values(#{id},
#{idCard, typeHandler=com.sensitive.learn.handler.SensitiveColumnHandler},
#{phone, typeHandler=com.sensitive.learn.handler.SensitiveColumnHandler})
</insert>
</mapper>
2.3.3 测试插入与查询
@SpringBootTest
@RunWith(SpringRunner.class)
public class TestClass {
@Resource
private TestMapper testMapper;
@Test
public void test1(){
List<com.sensitive.learn.model.Test> tests = testMapper.selectAll();
tests.forEach(System.out::println);
}
@Test
public void test2(){
com.sensitive.learn.model.Test test = new com.sensitive.learn.model.Test();
test.setId(6L)
.setIdCard("4493888665464654660")
.setPhone("1234567890");
testMapper.insert(test);
}
}
插如之后查看数据库表情况:数据已经经过加密
查询控制台打印的结果:正常解密
Test(id=6, idCard=4493888665464654660, phone=1234567890)
三、总结
关于接口数据脱敏两个方面的实现,一方面是通过Mybatis实现数据层脱敏,一方面是通过Jackson实现业务接口层脱敏,可以通过业务需求灵活组合使用,有效的解决敏感数据隐私泄露的问题。