18级大数据专家，漫谈大数据平台安全风险与建设，值得学（下篇）(1)

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）

正文

一、大数据发现面临的安全挑战

---

（1）传统安全保护手段失效：大数据应用使用开放的分布式计算和存储框架来提供海量数据分布式存储和计算服务。新技术、新架构、新型攻击手段带来新的挑战，使得传统的安全保护手段暴露出严重的不足。

（2）大数据平台安全机制缺陷：Hadoop生态架构在设计初期对用户身份鉴别、访问控制、密钥管理、安全审计等方面考虑较少，并且大数据应用中多采用第三方开源组件，对这些组件缺乏严格的测试管理和安全认证。

（3）数据应用访问控制难度大：有在大厂工作经验的人都知道，数据应用有报表类、运营类、取数类等等，各类数据应用通常要为不同身份和目的的用户提供服务，在身份鉴别、访问控制、审计溯源上都带来了巨大的挑战。

（4）数据量大、潜在价值高，极易成为攻击目标：大数据平台处理环节多，需要针对数据采集、传输、存储、处理、交换和销毁等生命周期各阶段进行安全防护，在不同阶段采取适合的安全技术保护机制。

（5）数据滥用或伪脱敏风险增长：随着数据挖掘、机器学习、人工智能等学科领域技术研究的深入，数据滥用情况加剧。并且很多公开说明脱敏或者匿名处理的数据，有可能分析出对应的真实明细信息。

（6）数据所有者权限问题突显：数据共享和流通是大数据发展的关键，但是在很多大数据应用场景中，存在数据所有权不清晰的情况，例如：数据挖掘分析人员会对原始数据进行处理，分析出新的数据，这些数据的所有权到底属于原始数据所有方还是数据挖掘方，这个问题还很多场景下还没有定论。

（7）大数据安全法规标准不完善：不论是在公司内部还是国家范围内，大数据应用的使用促进了经济的发展，数据价值的最大化。然而要推进大数据健康发展，要加强政策、监管、法律的统筹协调，加快法律法规建设。

二、大厂大数据安全实践

---

看到上述如此多的挑战。大家是不是对大厂的大数据安全实践充满了好奇，废话不多说，下面直插主题：

2.1阿里云大数据安全管控体系架构

核心安全措施：

1）访问控制和隔离：实施多租户访问隔离措施，数据安全分类分级划分，支持基于标签的强制访问控制，提供基于ACL的数据访问授权模型，提供数据视图的访问控制。

2）敏感信息保护：提供数据脱敏和加密功能。

3）密钥管理和鉴权：提供统一的密钥管理和访问鉴权服务，支持多因素鉴权模型。

4）安全审计：提供数据访问审计日志。

5）数据血缘：支持数据血缘追踪，可跟踪数据流向。

6）审批和预警：支持数据导出控制，支持人工审批或系统预警；提供数据质量保障系统，对交换的数据进行数据质量评测和监控预警。

7）数据生命周期管理：提供从采集、存储、使用、传输、共享、发布、销毁等基于数据生命周期的技术和管理措施

2.2蚂蚁金服大数据安全防护体系

核心安全措施：

1）持续进行数据安全顶层治理：数据安全策略à数据安全管理à数据安全执行。

2）建立健全数据安全制度流程：确保在业务运营过程中的数据安全风险可控，数据使用有章可循。

3）建立数据安全内控体系和审计监督机制：通过统一身份管理、统一健全、统一日志等方式建立体系化的审计监督机制，利用大数据风险分析技术，建立数据使用异常分析控制，及时识别业务运营过程中的数据使用风险。

4）建立以数据为中心的风险管理体系：从数据、人员、产品三个方面重点进行风险管理体系建设。数据方面，覆盖采集、分析处理、输出等多个大学虎踞管理重点；人员方面，建立了信息安全评分及员工行为风险量化机制，准确识别和管控员工使用、处理数据过程中的各维度风险；产品方面，对用户隐私进行全方位保护。

5）构建生态数据安全赋能产品，联合生态伙伴，共同提升生态数据安全能力：在与合作伙伴合作的过程中，建立一套完整的合作伙伴数据安全风险识别机制，通过敏感数据检测、调用历史基线偏离、离群行为等大数据异常检测技术，实现对生态或作伙伴的敏感信息泄露等风险的监控。也通过差分隐私和K匿名等技术措施提升个人隐私和数据安全保障能力。并将该能力产品化赋能生态企业。

2.3中国移动大数据安全保障体系

核心安全措施：

1）安全策略体系：从顶层设计层面明确安全保障工作总体要求及方向指南。

2）安全管理体系：通过管理制度建设，明确运营方安全主体责任，落实安全管理措施。

3）安全运营体系：通过定义运营角色，明确运营机构安全职责，实现对大数据业务及数据的全流程、全周期安全管理。

4）安全技术体系：公司开展大数据安全防护建设相关要求和实施方法，体系设计涵盖数据流转各环节数据安全防护通用技术要求、大数据平台各类基础设施及应用组件安全基线配置能力要求等。

5）安全合规评测体系：包括安全运营管理合规评测和安全技术合规评测方法、评测手段和评测流程。

6）大数据服务支撑体系：基于大数据资源为信息安全保障提供支撑服务，开展大数据在安全领域的研究及推广应用，为公司信息安全治理提供新型技术手段，并支撑对外安全服务，实现数据增值。

2.4IBM Security Guardium 数据安全保护体系

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注大数据）**
[外链图片转存中…(img-SE3hR6V3-1713264854327)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！