impala sql 脱敏 数据大约1亿1千万
强大的impala 几分钟 就搞定了,一直跟担心会吧集群跑崩掉,想多了,impala + kudu 结构
背景:修改生产,用户表8百万数据,订单表1亿一千万数据
impala sql 发现,一个汉字的长度是3(不固定,有的一个汉字长度更长)
直接对全表数据的进行update操作,对已经有脱敏数据,直接跳过
手机号脱敏
UPDATE bdp_ods.user
SET mobile =(CASE WHEN length(mobile)>7 and mobile !='_NUll' and mobile not LIKE '%*%' THEN concat(substring(mobile,1,3),'****',substr(mobile,8))
WHEN length(mobile)<=7 and mobile !='_NUll' and mobile not LIKE '%*%' THEN concat(substring(mobile,1,2),'****',substr(mobile,6))
ELSE mobile
END)
--where id = 10014 ;
身份证脱敏
UPDATE bdp_ods.user
SET certificate_no=(CASE WHEN length(certificate_no) >4 and certifica