关于数据脱敏问题(Hive之UDF)

1.问题描述

     数据的重要性是不言而喻的，所以对敏感的数据，进行脱敏也是必不可少的。不过目前我遇到一个问题，就是数据进行加密之后，怎么在BI显示明文呢，因为有些部门需要用到这些相对敏感数据进行营销，所以这个时候要有一个解决方案去应对。仔细想想，也就是加密之后，在通过相应的规则，在还原回去，难易程度这个时候就要看加密的算法是否复杂了。

 

2. 解决方案

    这里我简单说一下我自己的大致思路，以Hive为例：

1.    首先要明确使用的加密算法，用什么jar包去解密
2.     其次 在项目中构建Hive的UDF(可以理解为插件)，将解密方法写到类中
3.    最后将项目打成jar包上传到服务器，然后到Hive中注册这个UDF
4.    即可在SQL中使用自定义的函数，完成相应的解密          

      除了使用UDF，也可以使用Ranger 配置，进行行过滤，列脱敏。

 具体的实现细节，可以自行搜索，网上很多，这里就不再赘述啦。

（注:  当函数加入Hive后，记得重新 连接一下 Hive，函数才能生效呦～）