大数据计算系统学习笔记

1.大数据计算体系可归纳三个基本层次：
数据应用系统，数据处理系统，数据存储系统



2.计算的总体架构

HDFS(Hadoop 分布式文件系统)
(1)设计思想：分而治之，将大文件大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析。
(2)首先，它是一个文件系统，用于存储文件，通过统一的命名空间–目录树来定位文件。然后，它是分布式的，又很多服务器联合起来实现其功能，集群中的服务器有各自的角色。有namenode和datanode两部分，有点类似索引结构，并采用备份的方式，例如第二namenode和b1出现3次。

数据处理系统的比较

主要看mapreduce和spark的两个极端，包括时延和硬件的需求。

mapreduce计算模型

3.计算模型和计算架构