1.大数据计算体系可归纳三个基本层次:
数据应用系统,数据处理系统,数据存储系统
2.计算的总体架构
HDFS(Hadoop 分布式文件系统)
(1)设计思想:分而治之,将大文件大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析。
(2)首先,它是一个文件系统,用于存储文件,通过统一的命名空间–目录树来定位文件。然后,它是分布式的,又很多服务器联合起来实现其功能,集群中的服务器有各自的角色。有namenode和datanode两部分,有点类似索引结构,并采用备份的方式,例如第二namenode和b1出现3次。
数据处理系统的比较
主要看mapreduce和spark的两个极端,包括时延和硬件的需求。
mapreduce计算模型
3.计算模型和计算架构