大数据技术复习--大数据处理与大数据安全

分布式计算架构

RAS(reliability, availability, serviceability)：最初来自IBM公司为其大型主机所做的宣传广告，强调主机系统的坚韧强固，即稳定性、可用性、可服务性

基于MapReduce批处理计算架构

MPI信息传递接口，一种典型的并行编程框架

MapReduce任务流程

基于Spark分布式内存计算架构

Mahout：基于Hadoop的机器学习和数据挖掘的一个分布式框架，Mahout用MapReduce实现了部分数据挖掘算法，解决了并行挖掘的问题
Hama：基于大批量同步并行策略的大数据分析分布式计算框架，可用于高级和复杂的计算，例如图形、网络算法和矩阵

静态数据与流数据区别：

• 支持决策分析而构建的数据仓库系统，存放的大量历史数据就是静态数据
• 在Web应用、网络监控、传感检测等领域，兴起的一种新的数据密集型应用就是流数据

大数据安全

大数据安全存在的典型问题：

1. 认证授权问题:许多大数据平台没能实现有效的认证授权问题，从而导致未授权的文件访问等
2. 访问控制问题：相对于传统的关系型数据库，目前大数据平台难以实现细粒化的数据访问控制。导致许多大数据系统为了不影响业务正常运行，只能指定非常粗粒度的访问控制策略
3. 操作审计问题：目前大数据系统难以实现有效的审计。主要是操作记录存储分散，且记录往往过于简单，为后续分析带来了不便
4. 敏感数据保护问题：开放的平台增加了数据泄露的风险，因此需要对敏感数据进行保护

处理加速技术：

• GPU：是拥有一个由数以千计的更小更高效的核心组成的大规模并行计算架构
• TPU：张量处理器
• FPGA：现场可编程逻辑闸阵列FPGA