大数据中的数据安全

数据安全体系全貌

 在数据仓库平台中，对应数据的请求必须严格尊属数据安全体系

数据使用安全

• 数据安全 = 认证 + 授权

认证主要是对用户的身份确认，比如最简单的用户的登录需要账户和密码；像你登录Mysql需要输出用户名和密码。比如大数据中使用的kerberos的认证框架的认证管理。

授权是指用户可以访问的资源，比如授权用户张三不能访问ods层的表，可以访问dwd层和dws层的表。再比如java中基于角色的身份认证RBAC（Role-Based Access Control）基于角色的权限控制。比如大数据中使用的Sentry和Ranger的授权框架的权限管理。

一般意义上的数据安全流程

• 数据的产生：通过数据分级体系对敏感字段打标签；
• 数据的存储：需要通过加密的方式存储相关数据，避免直接存储Text格式的数据；
• 数据的使用：包括了一个独立的权限控制系统；
• 数据的传输：相关的申请与查询操作需要通过专门的API接口进行，并且有高安全等级的加密措施；
• 数据的展示：在申请通过后，根据申请人的安全等级，展示对应等级的数据；
• 数据的销毁：敏感数据仅在HDFS上做逻辑删除是不够的，需要配合物理删除同步清理敏感数据。

仓库中数据表分级标准

        一般情况下，数据仓库部门对外开放的表是ads层，可能由于需要可以申请dwd层的数据，但是ods层的原始数据是不会对外开放的。对于这些对外开放的表也会有安全等级的划分。

表安全设置为四个等级：

• S4：非业务核心表，删除对于其他计算任务无影响；
• S3：非业务核心表，但删除对于其他计算任务有一定的影响；
• S2：业务核心表，仅限本部门使用，删除对于其他部门使用无影响；
• S1：业务核心表，删除对于其他部门使用有影响。