18级大数据专家，漫谈大数据平台安全风险与建设，值得学（下篇）

大数据平台安全伴随着大数据平台而生。随着互联网和大数据应用的普及，新闻头条上发布的数据泄露、滥用、诈骗层出不穷，引发了一系列发人深思的社会事件和问题。

本文主要分三个部分：

1）大数据发现面临的安全挑战

2）大厂大数据安全实践

3）总结

本文以大数据发展面临的安全挑战开篇。

一、大数据发现面临的安全挑战

（1）传统安全保护手段失效：大数据应用使用开放的分布式计算和存储框架来提供海量数据分布式存储和计算服务。新技术、新架构、新型攻击手段带来新的挑战，使得传统的安全保护手段暴露出严重的不足。

（2）大数据平台安全机制缺陷：Hadoop生态架构在设计初期对用户身份鉴别、访问控制、密钥管理、安全审计等方面考虑较少，并且大数据应用中多采用第三方开源组件，对这些组件缺乏严格的测试管理和安全认证。

（3）数据应用访问控制难度大：有在大厂工作经验的人都知道，数据应用有报表类、运营类、取数类等等，各类数据应用通常要为不同身份和目的的用户提供服务，在身份鉴别、访问控制、审计溯源上都带来了巨大的挑战。

（4）数据量大、潜在价值高，极易成为攻击目标：大数据平台处理环节多，需要针对数据采集、传输、存储、处理、交换和销毁等生命周期各阶段进行安全防护，在不同阶段采取适合的安全技术保护机制。

（5）数据滥用或伪脱敏风险增长：随着数据挖掘、机器学习、人工智能等学科领域技术研究的深入，数据滥用情况加剧。并且很多公开说明脱敏或者匿名处理的数据，有可能分析出对应的真实明细信息。