(学习笔记)数据基建-数据安全
数据安全
数据安全问题是最近比较热的话题,数据泄漏引发的用户信任危机事件也比比皆是,以及跨部门引用核心表引发问题也是常态,当前各个公司都在针对数据安全作出相应措施,并开设数据安全岗位。
数据安全实施难点
模型下游过多:迁移或修改时模型存在大星依赖关系,需要投入更多时间,存在修改时遗漏,修改错误导致线上问题发生
迁移周期:由于下游依赖了待修改模型,导致下能一次性做到模型完全迁移,需要排期按阶段迁
业务限制:各部门/业务对数据安全权限把控度不同
数据安全保障流程
数据安全保障:数据使用权限、隐私数据处理、数据安全管控流程、数据下载安全、跨部门数据共建、机密数据管控
角色管理:对不同使用/开发角色提供不同使用权限
数据使用权限申请:
权限审批
查询范围:行权限、列权限、表权限
查询结果 :原始数据(ODS)、明细数据(DWD)、指标数据(DWM、DWS)不对业务透出
数据表分级:
s4:业务核心表 - 机密数据,其他部门使用数据存在较大风险,建议实施严格技术和管理措施 - 通过加密方式提供复他bu
S3:非业务核心表 - 敏感数据,其他部门使用存在较低的风险,建议实施较严格技术和管理措施 - 可以对外部分开放,例如部分字段申请、视图开放
s2:部门自建表 - 内部公开数据,其他部门使用数据建议实施必要技术和管理措施 - 可对外透露,需要走表/字段权限申请流程
s1:非业务核心表 - 对公开数据,建议实施基本技术和管理措施 - 可对外透露
数据脱敏:
根据查看表的人群、查看的内容(多数使用于门户、报表、对外透出表等场景)来脱敏,例如用户手机号,身份证等数据脱敏,脱敏可在ODS、也可在ADS做,看具体业务场景,例如橘厂在ODS完成脱敏操作
安全接口人卡点设定:
数据使用申请时卡点负责人
角色组
数据传输:相关申请与查询操作需要通过专门的API接口进行,并且有高安全等级的加密措施
数据产生:通过数据分级体系对敏感表打标签(例如高风险预警标签)
数据展示:根据报表、看板的权限等级,在同一个图表中限制不同的用户能够看到的数据也不一样(常用于报表各模块内容展示)
数据销毁:敏感数据仅在hdfs上做逻辑删除是不够的,需要配合物理删除同步清理敏感数据
数据下载:数据下载需要设计多层级审批(可以直达业务负责人),限制下载行数(最多1000行)
风险管控:离职回收
超长时间未使用回收:定期(7/30/90天)扫描表使用情况,并通过公告、邮件等方式通知下游,对下游长期末使用回收
与其他部门共担风险记录:给予权限后,签字画押,可通过数据模型、平台化审计操作控制方式记录当前使用,对高风险操作监控,做到相互监督,并留下证据
数据安全措施实施阶段
早期:
角色权限限制
数据使用权限申请限制
机密数据单独管控
成熟期:
数据表划分管控
跨bu权限使用限制
隐私数据处理
数据下载查询管控
敏感数据打标
无平台该怎么去做:
背景:只存在一个数据团队,且数据只被下游bi、产品等同学用到,无可视化平台操作
保障操作:
角色权限管控
脱敏配置
数据表分级-元数据记录
数据操作流程,例如数据下载、需要流程上报(可以通过邮件等)
机密数据单独项目空间存放
数据安全如何量化产出
衡量指标:
数据安全分级未打标表数
永久权限/长期未使用表数
机密数据-对外透出表数
脱敏表/字段数
数据安全思考
数据是重要的资产,合理地使用能为企业带来巨大的价值,但同时数据安全管控不佳则会对企业造成更大的风险,数据泄露可能会造成业务失信于客户、导致经济损失等影响