（学习笔记）数据基建-数据安全

数据安全

数据安全问题是最近比较热的话题，数据泄漏引发的用户信任危机事件也比比皆是，以及跨部门引用核心表引发问题也是常态，当前各个公司都在针对数据安全作出相应措施，并开设数据安全岗位。

数据安全实施难点

模型下游过多：迁移或修改时模型存在大星依赖关系，需要投入更多时间，存在修改时遗漏，修改错误导致线上问题发生
迁移周期：由于下游依赖了待修改模型，导致下能一次性做到模型完全迁移，需要排期按阶段迁
业务限制：各部门/业务对数据安全权限把控度不同

数据安全保障流程

数据安全保障：数据使用权限、隐私数据处理、数据安全管控流程、数据下载安全、跨部门数据共建、机密数据管控

角色管理：对不同使用/开发角色提供不同使用权限

数据使用权限申请：
权限审批
查询范围：行权限、列权限、表权限
查询结果 ：原始数据(ODS)、明细数据(DWD)、指标数据(DWM、DWS)不对业务透出

数据表分级:

s4:业务核心表 - 机密数据，其他部门使用数据存在较大风险，建议实施严格技术和管理措施 - 通过加密方式提供复他bu
S3:非业务核心表 - 敏感数据，其他部门使用存在较低的风险，建议实施较严格技术和管理措施 - 可以对外部分开放，例如部分字段申请、视图开放
s2:部门自建表 - 内部公开数据，其他部门使用数据建议实施必要技术和管理措施 - 可对外透露，需要走表/字段权限申请流程
s1:非业务核心表 - 对公开数据，建议实施基本技术和管理措施 - 可对外透露

数据脱敏：
根据查看表的人群、查看的内容(多数使用于门户、报表、对外透出表等场景)来脱敏，例如用户手机号，身份证等数据脱敏，脱敏可在ODS、也可在ADS做，看具体业务场景，例如橘厂在ODS完成脱敏操作

安全接口人卡点设定：
数据使用申请时卡点负责人
角色组

数据传输：相关申请与查询操作需要通过专门的API接口进行，并且有高安全等级的加密措施
数据产生：通过数据分级体系对敏感表打标签(例如高风险预警标签)
数据展示：根据报表、看板的权限等级，在同一个图表中限制不同的用户能够看到的数据也不一样(常用于报表各模块内容展示)
数据销毁：敏感数据仅在hdfs上做逻辑删除是不够的，需要配合物理删除同步清理敏感数据
数据下载：数据下载需要设计多层级审批(可以直达业务负责人），限制下载行数（最多1000行)
风险管控：离职回收
超长时间未使用回收：定期(7/30/90天)扫描表使用情况，并通过公告、邮件等方式通知下游，对下游长期末使用回收
与其他部门共担风险记录：给予权限后，签字画押，可通过数据模型、平台化审计操作控制方式记录当前使用，对高风险操作监控,做到相互监督，并留下证据

数据安全措施实施阶段

早期：
角色权限限制
数据使用权限申请限制
机密数据单独管控

成熟期：
数据表划分管控
跨bu权限使用限制
隐私数据处理
数据下载查询管控
敏感数据打标

无平台该怎么去做：
背景：只存在一个数据团队，且数据只被下游bi、产品等同学用到，无可视化平台操作

保障操作：
角色权限管控
脱敏配置
数据表分级-元数据记录
数据操作流程，例如数据下载、需要流程上报(可以通过邮件等)
机密数据单独项目空间存放

数据安全如何量化产出

衡量指标：
数据安全分级未打标表数
永久权限/长期未使用表数
机密数据-对外透出表数
脱敏表/字段数

数据安全思考

数据是重要的资产，合理地使用能为企业带来巨大的价值，但同时数据安全管控不佳则会对企业造成更大的风险，数据泄露可能会造成业务失信于客户、导致经济损失等影响